fbpx Coded bias: sull'importanza dell'inclusività quando si progettano e impiegano gli algoritmi | Scienza in rete
Covid-19/

Coded bias: sull'importanza dell'inclusività quando si progettano e impiegano gli algoritmi

Tempo di lettura: 4 mins

Nell'immagine Joy Buolamwini. Crediti: Ars Electronica / Flickr. Licenza: CC BY-NC-ND 2.0.

“The more humans share with me, the more I learn”. Una voce metallica pronuncia questa frase all’inizio del documentario Coded Bias, diretto dalla regista Shalini Kantayya e disponibile su Netflix dal 5 aprile. Queste parole riassumono il messaggio centrale del documentario: gli algoritmi sono distorti soprattutto perché “apprendono” dagli esseri umani. Questo è particolarmente vero per i sistemi di machine learning, quelli che sottintendono al funzionamento dei motori di ricerca, dei social media, degli assistenti vocali e di molti altri strumenti tecnologici che usiamo quotidianamente.

Il documentario si concentra in particolare sulla storia di Joy Buolamwini, diventata celebre per aver scoperto e denunciato che gli algoritmi di riconoscimento facciale di società come IBM, Microsoft e Face++, sono molto meno accurati sui volti delle persone con la pelle scura, in particolare donne, rispetto a quanto non lo fossero per gli uomini, in particolare bianchi.

Buolamwini era all’inizio del suo dottorato all’MIT Media Lab e lavorava a un progetto chiamato Aspire Mirror, uno specchio dove vedere riflessa un’immagine di sé che rappresentasse le proprie speranze e le proprie aspirazioni. Le tecnologie alla base dell’Aspire Mirror erano una telecamera e un software di riconoscimento facciale. Buolamwini si rese presto conto che il sistema funzionava molto bene per i suoi amici bianchi, ma molto peggio quando era il suo volto a essere inquadrato dalla telecamera. Se, però, Buolamwini indossava una maschera bianca, allora il sistema rilevava la presenza di una faccia nell’immagine.

Il motivo era semplice: i database su cui i software vengono allenati contengono molti più volti di maschi bianchi che di altre categorie.

A quel punto, il progetto cambia nome e diventa Gender shades e Buolamwini decide di fondare la Algorithmic Justice League, un gruppo che vuole portare alla luce il fenomeno della discriminazione algoritmica che lei ama chiamare “the coded gaze”, lo sguardo dell’algoritmo, facendo riferimento al “male gaze” che si usa per fare riferimento al modo in cui la cultura patriarcale e maschilista rappresenta le donne e più in generale il mondo partendo da un punto di vista maschile ed eterosessuale.

Il percorso di Buolamwini è influenzato in particolare dall’incontro con Cathy O’Neil, matematica e attivista, autrice del libro “Weapons of Math Destruction”, che avevamo recensito qui. Nel suo libro O’Neil ha denunciato, fra le prime, l’utilizzo sempre più pervasivo degli algoritmi come sistemi di assistenza alla decisione. I casi descritti da O’Neil non sono complessi sistemi di machine learning o reti neurali profonde come quelle che vengono utilizzate nel riconoscimento facciale. Si tratta piuttosto di modelli matematici che, basandosi sui dati storici formulano delle previsioni sul futuro. Il programmatore sceglie un un obiettivo da massimizzare nei futuri previsti da questi modelli, e chiede all’algoritmo quali scelte nel presente sono funzionali al suo scopo.

Non c’è niente di neutrale in questo processo, a differenza di quello che si potrebbe pensare di modelli matematici basati sui dati. Le previsioni fatte dai modelli vengono formulate sulla base dei dati storici, che, esattamente come i database di allenamento dei sistemi di riconoscimento facciale, sono sbilanciati, spesso in favore dei gruppi sociali più privilegiati. L’obiettivo che il programmatore sceglie di massimizzare, poi, è una scelta che incorpora una serie di valori che possono, più o meno consapevolmente, penalizzare le minoranze.

Il documentario è una conversazione tra le persone che stanno portando avanti con maggiore forza questa battaglia, tutte donne. E il messaggio che sembra essere centrale è proprio l’importanza di includere punti di vista molto diversi tra loro. Lo sviluppo dei sistemi automatici di assistenza alla decisione sta avvenendo soprattutto all’interno delle grandi società tecnologiche, che impiegano per la maggioranza uomini bianchi. La rappresentazione di diversi punti di vista è fondamentale perché la tecnologia non provochi danni e non crei una società ancora più disuguale, e il punto di vista femminile è il primo a essere trascurato, insieme a quello dei gruppi etnici che storicamente sono più svantaggiati.

Poche settimane fa, avevamo parlato della vicenda di Timnit Gebru, co-direttrice del gruppo di etica di Google Research, licenziata per via di un articolo scientifico in cui sottolineava i rischi connessi allo sviluppo di modelli statistici di linguaggio basati su database sempre più grandi. Gebru, che ha supervisionato il progetto Gender shades di Buoamwini nel 2018, era una delle poche donne nere assunte da Google Research.

Il documentario si conclude con l’audizione di Buolamwini al Congresso degli Stati Uniti a maggio del 2019 sull’utilizzo delle tecnologie di riconoscimento facciale. Negli Stati Uniti questi sistemi vengono utilizzati regolarmente da diversi corpi di polizia, ma negli ultimi due anni sono stati diverse le città a bandirne l’utilizzo, anche in conseguenza del lavoro di Buolamwini. La strada che viene indicata, dunque, è quella della regolamentazione da parte dello stato perché anche se il modello della sorveglianza di stato attuato dalla Cina sembra lontano, la sorveglianza operata dalle società private può mettere a rischio i diritti e le libertà in modo altrettanto grave.

Per ricevere questo contenuto in anteprima ogni settimana insieme a sei consigli di lettura iscriviti alla newsletter di Scienza in rete curata da Chiara Sabelli (ecco il link per l'iscrizione). Trovi qui il testo completo di questa settimana. Buona lettura, e buon fine settimana!

Articoli correlati

Aiuta Scienza in Rete a crescere. Il lavoro della redazione, soprattutto in questi momenti di emergenza, è enorme. Attualmente il giornale è interamente sostenuto dall'Editore Zadig, che non ricava alcun utile da questa attività, se non il piacere di fare giornalismo scientifico rigoroso, tempestivo e indipendente. Con il tuo contributo possiamo garantire un futuro a Scienza in Rete.

E' possibile inviare i contributi attraverso Paypal cliccando sul pulsante qui sopra. Questa forma di pagamento è garantita da Paypal.

Oppure attraverso bonifico bancario (IBAN: IT78X0311101614000000002939 intestato a Zadig srl - UBI SCPA - Agenzia di Milano, Piazzale Susa 2)

altri articoli

Uno screening può aiutare a mantenere aperte le scuole? L'esperienza del Piemonte

Il programma di screening Scuola Sicura è stato avviato sperimentalmente nei primi tre mesi del 2021, in aggiunta alle correnti procedure di sorveglianza e contact tracing, per gli studenti iscritti alle classi seconde e terze delle scuole secondarie di primo grado della regione Piemonte. Si tratta di un lavoro di stretta collaborazione tra scuola e ASL per ridurre la trasmissione del contagio e concorrere a mantenere le scuole aperte: i primi risultati, che evidenziano le criticità cui far fronte, sono incoraggianti e dimostrano che un programma di screening nelle scuole può essere implementato a patto che venga effettuato in modo organizzato e che si ponga attenzione in particolare alle modalità di coinvolgimento di scuole e studenti, alle strategie di testing, all’organizzazione e al sistema informativo che lo deve sostenere.

Crediti immagine: School photo created by freepik - www.freepik.com

Un gruppo di cinque bambini dell’Istituto Nigra di Torino sono accompagnati dai loro genitori presso l’hot spot del poliambulatorio di Via Le Chiuse per eseguire un tampone per Covid-19. Non hanno sintomi e non sono contatti di caso, ma partecipano al programma di screening Scuola Sicura deliberato dalla Regione Piemonte a inizio 2021. Fanno parte del gruppo A della loro classe; la settimana prossima sarà testato il gruppo B e così via fino alla fine del mese.