Anche gli algoritmi possono essere razzisti: il motivo risiede nella scelta dei dati utilizzati per addestrarli, intrisi di pregiudizi e derivanti dalla società e dagli stereotipi perpetrati in quest'ultima. Il risultato, però, è molto pericoloso e pervasivo. Vediamone i dettagli.
Lo ha rivelato uno studio recente condotto dalla Johns Hopkins University in collaborazione con il Georgia Institute of Technology e l’Università di Washington, guidato dallo studioso Andrew Hunt e presentato nel corso della conferenza FAccT 2022 dell’Association for Computing Machinery tenutasi in Corea del Sud a giugno.
Lo studio ha, infatti, dimostrato che anche l’Intelligenza Artificiale può essere vittima di pregiudizi e bias, associando, per esempio, il termine “criminale” a persone di colore e le parole “casalinga” e “bidella” a donne latine. Il robot utilizzato per l’esperimento ha, dunque, replicato stereotipi comuni presenti all’interno della società, comportandosi, di fatto, al pari dei razzisti “in carne e ossa”.
Qual è il motivo alla base di questo atteggiamento, anche a livello di IA? Vediamone i dettagli.
Naturalmente, non sono gli algoritmi in sé a essere razzisti, bensì le informazioni con cui essi vengono addestrati e che ne costituiscono l’ossatura. La base di partenza, infatti, sono sempre i dati, i quali, nella maggior parte dei casi, rispecchiano la realtà in cui gli algoritmi verranno poi immersi.
Come si legge su Agenda Digitale:
Nel momento in cui l’algoritmo viene programmato, vengono selezionati i caratteri del set di dati che la macchina deve valutare per prendere la sua decisione. È in questa fase che entrano in gioco i pregiudizi ideologici propri del soggetto programmatore e in tali casi si può intervenire per eliminarli.
Questa operazione, però, non è sempre facile, dal momento che spesso è molto complicato individuare in maniera preventiva le categorie che potrebbero essere vittime di pregiudizio e gli elementi a esse correlati. Di fondamentale importanza risulta, tuttavia, la scelta del dataset:
Il momento centrale del processo di machine learning è quello in cui, programmato l’algoritmo, a questo vengono forniti dei dati da analizzare, su cui l’intelligenza artificiale si formerà, “imparando” a compiere le proprie scelte. È evidente quindi che la qualità dei dati che vengono utilizzati in questa fase è fondamentale per il risultato che si vuole ottenere, secondo il principio di “garbage in – garbage out”: perfino i software più sviluppati funzionerebbero male in presenza di dati di bassa qualità.
È in questa fase, infatti, che i dati da analizzare devono essere scelti con cura, senza alimentare i pregiudizi esistenti a livello sociale e senza privilegiare un certo tipo di narrazione (leggi: uomini bianchi e privilegiati) rispetto a quella variegata, complessa e stratificata della realtà.
Se gli algoritmi sono razzisti, quindi, la colpa non è da rintracciare in essi, bensì nei dati con cui gli stessi vengono plasmati e nutriti. Ma perché ciò succede?
Uno dei motivi risiede nel fatto che per addestrare i sistemi di Intelligenza Artificiale gli sviluppatori utilizzano set di milioni di dati rintracciabili gratuitamente online, che nella maggior parte dei casi si rivelano essere, però, parziali, incompleti, distorti e imprecisi. Con il risultato che gli algoritmi costruiti mediante questi dataset risultano, appunto, fallaci, razzisti e discriminatori.
A complicare la situazione vi è, poi, un altro fattore: il ricorso a vecchi testi appartenenti al dominio pubblico e “liberi”, perciò, del diritto d’autore. Ha posto in luce questo aspetto Amanda Levendowski, ricercatrice della New York University che nel suo studio ha dimostrato che una grande quantità di testi analizzati dalle intelligenze artificiali siano pregni di pregiudizi proprio perché pubblicati prima degli anni ’20 del Novecento.
Come riportato da Siamomine:
Un database che faccia affidamento solo su questi lavori non potrà che riflettere i pregiudizi del tempo; e lo stesso farà il sistema di intelligenza artificiale allenato usando questi dati. Per banalizzare, un algoritmo che apprende informazioni sul mondo leggendo Il grande Gatsby, opera del 1925, non potrà che dare per scontato che solo gli uomini bianchi abbiano ricchezza e potere e che invece i neri possano occuparsi solo della servitù.
Insomma, la fonte da cui vengono attinti i dati è la prima causa del razzismo digitale: se essi non sono di buona qualità, di conseguenza non potranno esserlo neanche gli algoritmi che ne derivano, con il rischio di provocare “pregiudizi algoritmici” pericolosi e pervasivi.
E gli esempi, purtroppo, non mancano. È il caso di Tay, software targato Microsoft progettato con lo scopo di imparare a comunicare mediante le interazioni che avrebbe sviluppato con i suoi interlocutori sui social network. Appena “iscritto”, una miriade di troll – come prevedibile – ha iniziato a interagire con Tay, nutrendolo di esternazioni razziste, omofobe, sessiste e antisemite. Conseguenza: il software di Microsoft è diventato, in un giorno, la prima intelligenza artificiale nazista della storia.
Quello di Tay, tuttavia, non è l’unico esempio di razzismo degli algoritmi. Uno dei più recenti vede, infatti, al centro del dibattito il software per il riconoscimento facciale Amazon Rekognition, venduto alle forze dell’ordine di tutto il mondo. Peccato che gli esperimenti non siano andati propriamente a buon fine.
Nell’estate del 2018, infatti, la ACLU – American Civil Liberties Union ha rivelato che, dopo aver utilizzato come campione un database di 25mila foto segnaletiche accessibili al pubblico e averle confrontate con gli scatti di 535 parlamentari statunitensi, il software avrebbe confuso 28 parlamentari della Camera e del Senato con alcuni criminali delle foto segnaletiche.
Unico particolare: il 39% di essi erano uomini e donne di colore, i quali, però, rappresentavano solo il 20% dei politici eletti al Congresso. Ancora una volta, dunque, gli algoritmi hanno agito sulla base di una serie di bias cognitivi “indotti”, associando la criminalità al colore della pelle (associazione aggravata, e in parte “giustificata”, dal fatto che gli stock di foto sono composti perlopiù da persone bianche, per cui è più complesso riconoscere quelle di etnie dissimili; di qui, la confusione).
Qual è, allora, la soluzione più adeguata per risolvere il problema? Un primo passo potrebbe essere quello di aggiungere nuovi comandi, che siano in grado di riconoscere i “campanelli d’allarme” e intervenire tempestivamente nel caso in cui dovessero apparire. E, con essi, sarebbe altrettanto necessario avviare contestualmente un lavoro sui valori e i loro significati.
Come spiega Lorenzo Rosasco, insegnante di Machine Learning all’Università di Genova, visiting professor al Massachusetts Institute of Technology e collaboratore dell’Istituto Italiano di Tecnologia:
[In Europa] Il dibattito è intenso, la regolamentazione degli algoritmi secondo i valori europei è un tema caldo, tanto che esistono grosse reti dedicate. Ma è complicato: bisognerebbe codificare questi valori, mettere vincoli agli algoritmi. Formare ingegneri capaci di parlare di filosofia ed etica con sociologi e avvocati. Servirebbe l’interazione di figure e saperi diversi. La fusione di competenze è davvero la nuova sfida della tecnologia.
All’origine del problema, tuttavia, vi è sempre la stessa fonte: la società. È quest’ultima, infatti, che, per prima, deve mutare i propri atteggiamenti, debellando discriminazioni, pregiudizi e razzismo e divenendo più inclusiva e aperta possibile alle differenze. Finché continueranno a esistere disparità all’interno della società, queste non potranno fare a meno di riflettersi anche negli algoritmi che plasmeremo. E, purtroppo, il cammino è ancora lungo.
Cosa ne pensi?