Questi sistemi, spesso chiamati “strumenti di valutazione del rischio“, vengono utilizzati per decidere se rilasciare gli imputati prima del processo, se procedere con le accuse di negligenza infantile, per prevedere quali studenti potrebbero abbandonare la scuola, ed altro ancora.
Machine Learning (ML) pervade sempre più tutte le aree della vita. Sfide complesse, contestualizzate e in continua evoluzione di natura sociale e politica vengono automatizzate e impacchettate come problemi matematici e tecnici. Allo stesso tempo, la ricerca sull’ingiustizia algoritmica mostra come il ML automatizzi e perpetui modelli storici, spesso ingiusti e discriminatori. Le conseguenze negative dei sistemi algoritmici, in particolare per le popolazioni marginalizzate, hanno dato impulso al lavoro sull’equità algoritmica.
Molti dei sistemi usati oggi si basano su grandi quantità di dati storici e modelli di apprendimento automatico che prevedono i comportamenti futuri e i successi dei partecipanti al sistema. Ad esempio, Microsoft utilizza tali modelli per valutare le capacità dei giocatori nei giochi online, le banche valutano l’affidabilità potenziale dei richiedenti di un prestito, e alcune aziende hanno persino tentato di automatizzare il controllo dei curriculum per le posizioni aperte. In queste situazioni, gli sviluppatori si affidano agli algoritmi.
Tuttavia, la maggior parte di questi lavori è molto ristretta e si concentra sull’affinamento di determinati modelli, sul miglioramento della rappresentatività dei dataset e sulla “mitigazione” dei dataset. Sebbene tali misure possano rappresentare una parte del rimedio, un approccio equo fondamentale deve considerare l’insieme, ad esempio, ipotesi non questionate o intuitive nei dataset, ingiustizie attuali e storiche e asimmetrie di potere.
Gli sviluppatori di questi strumenti e le autorità che li impiegano spesso sostengono che le valutazioni del rischio miglioreranno le decisioni delle persone attraverso l’uso dei dati. Ma gli strumenti di valutazione del rischio (e i dati utilizzati per crearli) non sono solo sistemi tecnici che esistono isolati – sono intrinsecamente intrecciati con la politica dei sistemi in cui vengono utilizzati e possono riprodurre le distorsioni di questi sistemi. Vogliamo approfondire il concetto di strumenti di valutazione del rischio ed esaminare esempi pratici del loro utilizzo.
1. Programmi di assistenza sociale:
Una delle applicazioni più comuni degli strumenti di valutazione del rischio è determinare l’idoneità ai programmi di welfare. Ad esempio, i governi raccolgono dati su reddito, stato occupazionale e dimensione familiare per decidere se una famiglia ha diritto all’aiuto alimentare o all’indennità di disoccupazione. Analizzando questi dati, vogliono assicurarsi che coloro che hanno realmente bisogno di aiuto lo ricevano.
2. Allocazione dei servizi sanitari:
Nel settore sanitario, i governi utilizzano registrazioni mediche personali e dati sanitari per distribuire le risorse in modo efficiente. Questa strategia è stata, ad esempio, adottata durante la pandemia per identificare i gruppi target e dare loro priorità di vaccinazione.
3. Sistema della giustizia penale:
Gli strumenti di valutazione del rischio hanno trovato impiego anche nel sistema penale. Analizzano il passato criminale e lo sfondo di una persona per stimare il rischio di recidiva. I risultati possono influenzare decisioni sulla cauzione o sulla pena, per raggiungere un approccio equo e basato sull’evidenza nella giustizia.
4. Istruzione:
Nel campo dell’istruzione, i dati giocano un ruolo decisivo nell’allocazione delle risorse e nell’analisi demografica. Il sistema educativo è uno dei luoghi più semplici in cui raccogliere dati, poiché nella maggior parte dei paesi la frequenza scolastica è obbligatoria. Dal sistema educativo, i governi ottengono informazioni sulle finanze, le condizioni familiari, la residenza così come la salute mentale e fisica.
5. Tasse:
La riscossione delle tasse è un altro ambito in cui entrano in gioco i dati finanziari personali. I governi utilizzano dati su reddito e proprietà per determinare l’ammontare delle imposte patrimoniali che una persona deve.
6. Salute pubblica:
Nel contesto della salute pubblica, i dati raccolti da diverse fonti come app mobili e dispositivi indossabili aiutano a monitorare la salute della popolazione. Ciò consente anche alle compagnie assicurative di fare previsioni e stime su rischi e future complicazioni per la salute di una persona.
7. Sussidi per l’alloggio:
I governi usano dati finanziari personali e abitativi per determinare l’idoneità ai programmi di sussidio per l’alloggio. Le informazioni su reddito, dimensione familiare e condizioni abitative assicurano che coloro che hanno bisogno di un alloggio a prezzi accessibili ricevano il necessario supporto.
8. Immigrazione:
Le autorità di immigrazione si basano su dati personali per prendere decisioni sulle concessioni di visti e le espulsioni. Fattori come la cronologia dei viaggi, il casellario giudiziale e lo stato occupazionale vengono presi in considerazione nelle decisioni relative all’immigrazione.
9. Protezione civile:
In caso di catastrofi naturali, i governi raccolgono dati sulla popolazione colpita per utilizzare efficacemente le loro risorse. I dati di localizzazione, ad esempio, vengono utilizzati per identificare le aree che necessitano di immediata assistenza, contribuendo così all’aiuto rapido in situazioni di emergenza.
Perché è importante per il mondo PRVCY?
Perché il possesso di tutti questi dati a volte induce i governi a diventare avidi e a cercare di controllare la nostra vita personale, come abbiamo visto durante la pandemica.
Anche se gli strumenti di valutazione del rischio sono indubbiamente promettenti per una migliore governance, la protezione della privacy, l’equità e le possibili distorsioni in questi sistemi sono onnipresenti. Trovare il giusto equilibrio tra l’uso dei dati per il bene comune e la protezione dei diritti individuali è una sfida continua per i governi di tutto il mondo, e non sempre ottengono buoni risultati.
Negli Stati Uniti, PATTERN è stato utilizzato per decidere se le persone incarcerate dovessero essere rilasciate dalle prigioni e trasferite a casa all’inizio della pandemia di COVID-19.
PATTERN emette “valori di rischio” – in sostanza numeri che stimano la probabilità che una persona venga nuovamente arrestata o incarcerata dopo il rilascio. Questi valori vengono poi convertiti in categorie di rischio in base a soglie. Ad esempio, un valore inferiore a un certo limite può essere considerato “basso rischio”, mentre valori uguali o superiori a tale limite vengono classificati come “alto rischio” e così via.
Gli esperti di PRVCY digitale definiscono questo sistema come un’ingiustizia algoritmica.
L’IA si basa su algoritmi di machine learning che, sebbene siano lodati nel settore tecnologico come soluzioni versatili, presentano anche delle debolezze. Come qualsiasi altro sistema informatico, sono suscettibili a errori.
Nel settore della cybersicurezza, ad esempio, gli algoritmi di apprendimento automatico vengono utilizzati per identificare rapidamente malware precedentemente sconosciuti. Tuttavia, si crea un dilemma: più alta è la percentuale di rilevamento, maggiore è la probabilità che il sistema etichetti erroneamente un file non dannoso come dannoso. Questo è dovuto al funzionamento fondamentale del machine learning, in cui il sistema non esamina le peculiarità di un oggetto, ma confronta le sue caratteristiche visive con quelle di oggetti già noti.
In alcuni scenari, oggetti benigni possono sembrare molto simili a oggetti maligni, e un sistema basato su punteggi potrebbe classificare l’oggetto come dannoso. In un contesto in cui i sistemi automatizzati valutano il comportamento delle persone, questo particolare aspetto dei sistemi di apprendimento automatico può portare a numerose situazioni spiacevoli, in cui una persona innocente viene erroneamente coinvolta in “azioni” sbagliate.
In altri esempi, i governi utilizzano la raccolta dei dati in modi di cui non conosciamo nemmeno lo scopo.
Nel 2020, la presidenza della Costa Rica è finita in gravi turbolenze quando investigatori federali hanno condotto perquisizioni negli uffici del presidente e quattro figure di spicco, tra cui il mentore e principale collaboratore del presidente, sono state licenziate. Al centro di questo tumulto c’era un dipartimento di analisi dati istituito negli uffici esecutivi, che nei precedenti 18 mesi aveva raccolto e valutato dati personali privati da varie fonti governative, presumibilmente per aiutare a modellare la politica pubblica. Il punto cruciale era il fatto che il dipartimento di analisi dati del presidente non aveva una base legale, fino a quando il governo non ha emesso un decreto il 19 febbraio che approvava la sua istituzione e dava l’autorità di richiedere dati personali sensibili da altre agenzie governative.
Come possiamo assicurare che le autorità governative e altri decisori siano ritenuti responsabili per i danni potenziali che gli strumenti di valutazione del rischio possono causare?
Questi sistemi sono suscettibili a problemi come i pregiudizi degli sviluppatori, correlazioni errate e cicli di retroazione, e gli algoritmi non prendono in considerazione considerazioni etiche, a meno che non siano state esplicitamente previste dallo sviluppatore. Immettere semplicemente grandi quantità di informazioni in un sistema di apprendimento automatico e accettare il risultato senza un esame critico può portare a una gamma di conseguenze indesiderate, comprese decisioni che violano i diritti di determinati cittadini.
In Europa e in America, sono in fase di sviluppo leggi che obbligano le aziende a fornire alle persone informazioni comprensibili sul perché la loro valutazione è peggiorata o migliorata (ECOA 1974, GDPR 2016) – affinché l’automazione non diventi un test di tipo Blackbox (l’esaminatore sa cosa il software deve fare, ma non come). Tuttavia, lo stesso non accade in tutti gli altri paesi che stanno valutando l’introduzione in futuro di un sistema di valutazione sociale, almeno basandosi sulle informazioni che siamo riusciti a trovare in fonti pubbliche. Se ciò è vero, significa che una varietà di decisioni potrebbe essere completamente affidata alle mani dell’IA, il che rappresenta un problema.
La tua capacità di modificare le regole su come funziona il sistema può influenzare notevolmente la vita di quei gruppi sociali che non sono in grado di influenzare le regole di valutazione. Per promuovere questo cambiamento, abbiamo creato una risorsa per te, affinché ti senti incoraggiato a fare domande quando le autorità governative o gli sviluppatori fanno affermazioni sugli strumenti di valutazione del rischio.
La maggior parte di questi sistemi si basa su un’interfaccia pubblicamente accessibile che contiene enormi quantità di dati personali, comprese tutte le “infrazioni” commesse. Questo tipo di interfaccia è più vulnerabile alle perdite e, in caso di accesso illecito, può avere terribili conseguenze per le persone attaccate. Non deve nemmeno essere violata. Gli enti che utilizzano tali sistemi spesso forniscono API che permettono di recuperare le varie trasgressioni di una persona inserendo informazioni come il loro numero di telefono o numero di passaporto.
La nostra realtà si trasformerà complessivamente in una sorta di futuro distopico basato sull’apprendimento automatico per prendere decisioni?
Non ancora, ma probabilmente sì. Ci sono ancora troppe incognite, ed è poco chiaro se i sistemi a livello nazionale possano essere realmente implementati in paesi con forme di governo e quadri legali così diversi.
Come cittadini, è importante essere informati su come i nostri dati vengono utilizzati e promuovere la trasparenza e l’equità in questi sistemi. Alla fine, il potere dei dati risiede non solo nella loro raccolta, ma anche nel loro uso responsabile ed etico.
Tuttavia, una cosa è chiara: poiché la tecnologia continua a evolversi senza sosta, i confini tra tecnologia digitale e questioni sociali e politiche più ampie diventeranno sempre più sfumati. Ecco perché il mio #PRVCYConsigli:
