L’intelligenza artificiale ci ha finalmente permesso di realizzare il sogno dell’oggettività. Un algoritmo non può per sua natura nascondere pregiudizi, discriminazioni o inefficienze. È davvero così? Rincorrere il mito di un’intelligenza artificiale oggettiva mette a rischio la nostra capacità di analizzare criticamente la realtà e mette a rischio i diritti fondamentali? Riflessioni a margine di Migrazioni e governance digitale. Persone e dati alle frontiere dell’Europa di Carocci editore.
di Emma Pivato
Un’esperienza scolastica piuttosto frequente, che accomuna ragazzi di ogni età e indirizzo di studi, è quella di sbagliare il risultato di un problema di matematica o fisica. Sono pochi i fortunati a non essersi mai trovati in questa situazione. Eppure molte volte, almeno a una prima occhiata, il quesito potrebbe risultare agevole da sbrogliare: un testo di appena tre o quattro righe, poche formule da applicare, peraltro rigorosamente elencate nell’appendice del capitolo relativo all’argomento in esame, il risultato già suggerito tra parentesi quadre in basso a destra, come i risultati del cruciverba in alcune riviste. Quindi dove si nasconde il cortocircuito? Qual è l’anello debole che rompe la catena che porta dal testo del problema alla sua soluzione? Nella maggior parte dei casi la risposta a queste domande è tanto banale quanto azzeccata: lo studente che si è cimentato nell’impresa ha sbagliato a interpretare le parole del quesito, ha ricavato dati errati e ha perciò ottenuto un risultato scorretto. La componente umana è ciò che ha condotto la maggior parte di noi, almeno una volta nella vita, a un’insufficienza in fisica o matematica.
Restiamo ancora un po’ nei nostri panni di studenti poco portati per tutto ciò che riguardi numeri e formule. Chi non ha mai desiderato di avere gli strumenti per eliminare i propri errori nel calcolo e nell’elaborazione dei dati? Guardando la situazione da un altro punto di vista, potremmo chiederci, in altri termini: chi non ha mai sperato di non dover dare una interpretazione soggettiva del testo di un quesito matematico, trovando invece un mezzo per giungere a una lettura oggettiva, priva di inesattezze? Potremmo dire che oggi le preghiere di generazioni di ragazzi sono state esaudite dall’intelligenza artificiale. Finalmente potenti algoritmi possono elaborare e gestire dati in modo molto più veloce ed efficiente di qualsiasi essere umano, con un margine di errore che rasenta lo zero. Si direbbe che la possibilità di sbagliare è dunque un problema risolto per la fisica, la matematica e, più in generale, per qualsiasi ambito della vita possa essere trattato applicando le leggi del calcolo statistico alla realtà, dal gioco degli scacchi al costo della sanità.
Eppure, come ricorda da ultimo anche Mirko Forti in Migrazioni e governance digitale, recentemente pubblicato da Carocci editore, credere che la macchina sia esente da influenze sociali, culturali e politiche derivate dall’ambiente circostante non è corretto. Anzi, più cadiamo nel cd. automation bias, affidandoci acriticamente agli output forniti dagli algoritmi che riteniamo infallibili, più gli errori che questi producono incidono negativamente sulla vita e sui diritti delle persone.
Un breve esempio ci consentirà di comprendere come gli output forniti dagli algoritmi di intelligenza artificiale possano rispecchiare situazioni di diseguaglianza presenti nella società. Nel 2019 sono apparsi su Science i risultati di una ricerca condotta in relazione a un sistema di IA ampiamente utilizzato in ambito medico. È emerso come, secondo l’algoritmo, solo il 17,7% dei pazienti di colore necessitassero di cure. Tuttavia, osservando le loro condizioni cliniche effettive, la percentuale avrebbe dovuto salire al 46%. Il bias (pregiudizio) manifestatosi nei risultati forniti si spiegava sulla base del fatto che il sistema, nell’elaborare gli output, considerava come parametri i costi dell’assistenza sanitaria.
Perciò, dal momento che nel set di dati utilizzati nella fase di sviluppo dell’algoritmo il costo legato all’assistenza dei pazienti di colore risultava inferiore rispetto a quello dei pazienti bianchi, secondo gli outputs del sistema i neri abbisognavano di meno assistenza da parte dei medici. I ricercatori hanno messo in luce, tuttavia, che la spesa relativa alla cura delle persone di colore risultava minore non perché queste non necessitassero di assistenza, ma poiché non avevano la stessa possibilità di accesso alle cure rispetto ai pazienti bianchi.
Possiamo comprendere, quindi, come lo sviluppo e il conseguente funzionamento dell’intelligenza artificiale siano legati ai dati utilizzati durante le prime fasi di sviluppo del sistema, i quali riflettono inevitabilmente meccanismi sociali che condizionano la vita della collettività. «[…] il processo della datificazione è sempre intenzionale, non naturale» ricorda Donata Columbro in Quando i dati discriminano, edito da Il Margine (p. 21).
Ricavare dati significa trasformare la realtà che si osserva e limitarla ad alcuni parametri che siano il più adatti possibile allo scopo che si vuole raggiungere. In questo processo, tuttavia, alcuni elementi che determinano il reale possono passare inosservati come accade, ad esempio, quando si scatta una fotografia e qualche oggetto non viene messo a fuoco o viene tagliato dall’inquadratura.
Per tornare ai problemi di fisica, possiamo dire allora che neanche l’intelligenza artificiale può soddisfare il desiderio di oggettività e infallibilità proprio di ogni studente alle prese con numeri e formule: l’intervento umano resta una componente essenziale da cui dipendono le informazioni che verranno fornite all’algoritmo e l’obiettivo che dovrà auspicabilmente raggiungere.
Al variare dello scopo perseguito da chi impiega gli algoritmi di intelligenza artificiale possono variare anche i dati raccolti e i processi tramite cui vengono elaborati. In tal senso, un esempio lampante è costituito dall’utilizzo dell’intelligenza artificiale nella gestione dei flussi migratori, di cui tratta con efficacia e precisione il libro Migrazioni e governance digitale. Persone e dati alle frontiere dell’Europa di Carocci editore. Vale la pena di soffermarci in particolar modo su uno dei temi affrontati nel corso del libro: «le persone che cercano di attraversare i confini europei non sono solo “rappresentate” ma anche prodotte, “portate in esistenza” (enacted) secondo modalità specifiche, spesso depotenzianti» tramite le pratiche di registrazione dei loro dati (p. 100). La modalità con cui vengono catalogate le informazioni relative a un individuo, infatti, contribuisce a determinare l’identità di quella persona e come viene percepita nel contesto sociale in cui è inserita. Prima del 2015, ad esempio, la prima attività che veniva compiuta una volta soccorsi i migranti in mare era la valutazione delle condizioni di salute.
I database cui primariamente si accedeva nei porti, dunque, erano quelli sanitari. Oggi, invece, è considerata prioritaria la raccolta dei dati personali da inserire nelle banche dati dedicate alla gestione della sicurezza. Tale cambiamento produce varie conseguenze. In primo luogo, muta l’ordine istituzionale: mentre in precedenza i primi ad intervenire nel raccogliere i dati dei migranti erano attori che producevano dati sanitari, oggi le prime a intervenire sono autorità che producono conoscenze securitarie. In secondo luogo, si modifica anche la percezione che si ha rispetto alle persone soccorse: l’altro non è più un soggetto primariamente bisognoso di cure. Diventa piuttosto un soggetto verso il quale è prioritario svolgere un controllo relativo all’ordine pubblico.
Va anche sottolineato, inoltre, che a livello europeo vi sono più database utilizzati per gestire l’ambito sicurezza. Pertanto i parametri della stessa persona possono essere registrati in più banche dati, talvolta con errori o imprecisioni. Ciò produce soggettività digitali la cui frammentazione «ha un impatto tangibile sulle vite dei migranti, nella misura in cui tale dispersione di dati estratti determina in parte la possibilità di accedere alla protezione internazionale, a diritti socio-economici e di restare sul territorio» (op. cit., p. 128). È possibile infatti, e spesso accade, che gli algoritmi segnalino riscontri positivi che non rispecchiano la situazione reale. Un individuo, pertanto, viene riconosciuto dal sistema come rischio per la sicurezza poiché le sue generalità risultano legate a quelle di una persona segnalata anche se, nella realtà dei fatti, i due soggetti sono persone differenti che però condividono, ad esempio, il cognome o la data di nascita.
Se consideriamo quanto abbiamo detto finora emergono in particolare due spunti meritevoli di attenzione. Anzitutto, le procedure di gestione della migrazione dimostrano come sia possibile, sulla scia di politiche differenti, determinare quali dati vanno prioritariamente raccolti e trattati. Il dato è, a dispetto del nome stesso, un elemento che viene prodotto, non che è dato al di là di qualsiasi lente soggettiva. È ben possibile, quindi, che la volontà politica incida significativamente sulla presunta oggettività dell’intelligenza artificiale. In seconda battuta, come accennavamo poco sopra, le politiche di raccolta ed elaborazione dei dati hanno conseguenze di rilievo anche sulla costruzione dell’identità e dell’alterità.
Le informazioni personali di ognuno di noi determinano tanto la percezione che noi abbiamo di noi stessi quanto le possibilità cui possiamo accedere e i diritti che possiamo esercitare. In altre parole, anche il rapporto che costruiamo con l’altro e la realtà che ci circonda è legato alle informazioni che ci riguardano. Nel caso specifico dei migranti e della procedura di accoglienza, dare la precedenza all’ambito sanitario o a quello securitario porta con sé una specifica chiave di lettura tramite cui la comunità è indotta a interpretare la vicenda delle persone che sbarcano.
Porre l’accento su un solo frangente, ad esempio quello della sicurezza, rischia di diventare (come dimostrano peraltro i recenti fatti di cronaca e manifesti politici) lo strumento con cui propagandare ideologie partitiche che non colgono, volutamente o per grottesca ignoranza, i reali contorni della situazione e le strategie per affrontarla adeguatamente. Alla base del fenomeno migratorio vi sono molteplici fattori che, talvolta, possono dipendere anche dalla situazione concreta del singolo individuo. Alla luce di ciò, è illusorio pensare che l’intelligenza artificiale sia in grado di tradurre in calcoli statistici la complessità umana, geopolitica, sociale ed economica che deve essere considerata nel regolamentare le migrazioni. A maggior ragione se teniamo presente che i dati sui quali lavorano gli algoritmi, come abbiamo mostrato, non possono essere mai oggettivi o neutrali.
In conclusione, una domanda sorge spontanea: sarà possibile studiare approcci più efficaci per applicare l’intelligenza artificiale nella gestione dei flussi migratori restando ben consapevoli dell’importanza che la componente umana continua a ricoprire, soprattutto nella selezione dei dati da trattare? Esistono numerosi progetti di ricerca che cercano soluzioni per rispondere a questa domanda e che coinvolgono studiosi di diverse discipline. Migrazioni e governance digitale di Carocci ci dà la possibilità di conoscere le proposte che emergono dal mondo del diritto. Al contempo, però, ci offre una preziosa panoramica che ci porta a riflettere su ciò che lega intelligenza artificiale e migrazioni anche al di là di questioni prettamente giuridiche.
17 gennaio 2025
SULLO STESSO TEMA
G. Gallelli, Quale Europa vogliamo?
E. Battaglia, Io è un altro. Il fenomeno dell'immigrazione e la possibile ''risposta'' di Bernhard Waldenfels
L. Carbone, Uno sguardo sull'intelligenza artificiale
DELLA STESSA AUTRICE
Intelligenza artificiale: quali limiti?