Salta al contenuto principale

Intervista a Kate Crawford

Articolo di

Kate Crawford insegna in diverse università (USC Annenberg, MSR-NYC, University of Sydney) e alla École Normale Supérieure di Parigi guida il gruppo di lavoro sul Machine Learning. Svolge consulenze per Casa Bianca, Nazioni Unite, Federal Trade Commission, Parlamento Europeo, Australian Human Rights Commission. Ha pubblicato studi su riviste scientifiche quali “Nature”, “New Media & Society”, “Science”, “Technology & Human Values” “Information, Communication & Society” e scrive anche articoli divulgativi per “New York Times”, “The Atlantic”, “Harper’s Magazine”. È considerata uno dei massimi esperti mondiali di Intelligenza Artificiale, e verte proprio su questo tema il saggio da poco uscito per Il Mulino. Le abbiamo chiesto di approfondire per noi alcuni aspetti.



Negli ultimi anni, la narrativa legata all’intelligenza artificiale ha oscillato tra due tòpoi - la tecnologia che ci salverà o quella che ci condannerà - in una dialettica infinita tra utopia e distopia. È mancata invece una narrativa fattuale, realistica in grado di comunicare cosa siano veramente le tecnologie legate all’IA. Il tuo libro Né intelligente né artificiale infrange questa dialettica e alza il velo, come? Che visione emerge dell’intelligenza artificiale?
È vero, in passato e ancora oggi si alternano queste due contro-narrative sull’IA: da una parte una visione tecno-utopica che ci racconta che in qualche modo l’IA può risolvere tutti i nostri problemi, come una forma spettrale di determinismo incantato, magico ma in grado di avere una sorta di certezza deterministica su ciò che verrà; dall’altra parte invece abbiamo la visione tecno-distopica di un’IA super intelligente che dominerà l’umanità. Quello che finora non siamo riusciti ad avere è un vero resoconto oggettivo di cosa sia effettivamente l’IA e di ciò che serve per crearla sia in termini di dati che vengono effettivamente utilizzati per alimentare questi sistemi sia di lavoro umano - serve una straordinaria quantità di lavoro umano lungo tutta la filiera necessaria per far funzionare queste macchine. Come del resto si è raccontato poco dell’impatto ambientale: i costi ambientali di un’IA planetaria su larga scala sono enormi e per molti versi sono stati profondamente nascosti. Quello che cerco di fare in questo libro è un viaggio nei luoghi in cui l’IA è fatta, costruita, nel suo senso più pieno. Andare nelle miniere del deserto dove il litio viene estratto dal terreno, nei luoghi in cui vengono costruiti i set di addestramento per l’IA, visitare i data center su larga scala gestiti dallo stato e dalle società. Guardare quell’impronta, entrare nei magazzini di logistica di Amazon e vedere il tributo sui corpi umani. Per me guardare quel quadro globale completo che la storia planetaria dell’IA significa vedere davvero l’intelligenza artificiale come un’industria estrattiva. Proprio come l’estrazione mineraria era l’industria estrattiva emergente nel XVII e XVIII secolo per vedere l’IA è oggi una profonda industria estrattiva con un’eredità molto dannosa.

Parlando di impatto ambientale dell’IA, quello che tu mostri nel volume è un impatto enorme. Tale che mi ha fatto venire in mente che forse è necessario quello che viene chiamato un Life Cycle Assessment di queste tecnologie o se questo già avviene che sia più conosciuto a noi consumatori finali: conoscere tutto il ciclo di vita di queste tecnologie e l’impatto a ogni tappa “dalla culla alla tomba”, come si dice in gergo…
L’idea del ciclo di vita è una cosa che ho trovato davvero utile nel mio lavoro ed è un’eredità di un progetto precedente a questo libro. In collaborazione con l’artista e visualizzatore di dati Vladan Joler abbiamo creato un’enorme mappa, chiamata The anatomy of an AI system (https://anatomiadi.ai/). Si tratta di una visualizzazione di ciò che serve per far funzionare Amazon Echo, quel piccolo cilindro che si può scegliere di avere nel soggiorno di casa e che ti ascolta, risponde alle tue domande o ordina la spesa al posto tuo. “Per realizzarlo, cosa ci vuole?”, ci siamo chiesti. Così, abbiamo tracciato tutti i componenti per costruire i sistemi, abbiamo tracciato le miniere, la manifattura, la spedizione di container; abbiamo esaminato le pipeline di dati, il modo in cui i dati vengono estratti dagli esseri umani e vengono quindi analizzati e restituiti a noi, e poi finalmente abbiamo guardato alla fine della vita del sistema scoprendo che questi dispositivi finiscono in gigantesche discariche di rifiuti elettronici in luoghi come il Ghana e il Pakistan. Questa esperienza è stata trasformativa per me come ricercatore. Io mi sono occupata di AI per oltre un decennio ma vedere quei sistemi all’opera, dall’estrazione mineraria alle fabbriche di rilevamento umano, dalla realizzazione di algoritmi per interpretare le voci umane a questi giganteschi processi di scarto per i sistemi elettronici, ha stravolto il modo in cui io pensavo a questi sistemi. Dal vederli come algoritmi in un cloud astratto al vederli come sistemi così profondamente materiali. Dobbiamo davvero aver presente questo lungo ciclo di vita che va ben oltre il momento in cui poi noi ce ne sbarazziamo. Questo progetto sull’anatomia dell’IA in cui abbiamo guardato a un singolo sistema di intelligenza artificiale è stata la spinta per guardare l’intero settore dell’IA stessa.

Nell’attuale narrativa, soprattutto quella di chi produce e adopera sistemi di IA, gli esseri umani sembrano scomparire - siano essi minatori, lavoratori, programmatori, cittadini, consumatori. Leggendo il tuo libro mi sono sentita come se io non fossi altro che un set di dati e mi è diventato chiaro che il valore di una persona sarà misurato sempre di più in base alla quantità e alla qualità dei dati che produce. Dati classificati in un modo in cui non ha voce in capitolo: le etichette sono decise dall’alto verso il basso e peccato se non sono d’accordo con quelle etichette…
Gli esseri umani non possono essere mostrati come parte del processo, ma in realtà sono protagonisti di tutto il processo di produzione e manutenzione dell’IA. Nel libro guardo i tanti cosiddetti sistemi automatizzati che svolgono compiti di segreteria o che hanno un ruolo nelle assunzioni di dipendenti. Questi dipendono tutti dagli esseri umani nel back-end che lavorano continuamente per modificare o in alcuni casi addirittura fingono di essere loro il sistema di intelligenza artificiale che si interfaccia con l’utente. Gli esseri umani sono nascosti ma ci sono. Pensiamo ai minatori, alle persone che consegnano i prodotti acquistati su Amazon, alle persone che mettono appunto software, quelli che cercando disperatamente di estrarre un qualche valore dai rifiuti elettronici. Tutte queste forme di lavoro fanno parte della storia di cosa significa fare l’IA planetaria e penso che tu abbia ragione, non lo valutiamo come parte del quadro quando diciamo "Alexa, che tempo fa oggi?": non stiamo pensando a cosa sta portando in essere queste tecnologie che in realtà attingono a un’enorme quantità di risorse materiali e umane per funzionare. Per quanto riguarda il discorso delle etichette, ho trascorso molto tempo a studiare i grandi set di training adoperati per insegnare ai sistemi di intelligenza artificiale a interpretare il mondo, e mi ha scioccato vedere come le etichette vengano attaccate in modo così casuale alle persone, ai temi, agli eventi: un modo che può produrre un danno straordinario. Alcune pratiche sono facilmente immaginabili e hanno il risultato di cancellare intere identità umane: per esempio l’uso costante del genere binario o di cinque categorie razziali, idee criticate da più di un secolo, al centro di discussioni, dibattiti e lotte e che invece sono perpetuate nel training dei sistemi di AI. E questo è uno dei motivi per cui abbiamo bisogno di una conversazione pubblica più ampia su come viene utilizzata l’IA, dove vogliamo che venga utilizzata e dove - forse ancora più importante - non vogliamo che l’IA venga utilizzata.

E per quanto riguarda i dati? Possiamo diventare proprietari dei nostri dati e identità?
Quella della proprietà dei dati è considerato uno dei potenziali percorsi per affrontare i problemi legati alla privacy, al consenso e alla discriminazione. Tuttavia mi preoccupa questa idea, quella di ridurre tutto alla proprietà dei dati come soluzione a questi problemi. Non appena crei una struttura basata sulla proprietà, crei un mercato e crei un sistema di monetizzazione in cui ci si aspetta che le persone conoscano o prevedano il valore dei loro dati per scambiarli, per creare dei mercati in cui esistono intermediari e in cui si continua a scambiare ciò che tu crei ogni giorno. Questa per me non è una soluzione, e piuttosto che pensare a questo tipo di proprietà individualizzata dovremmo trasformare quella dei dati in una questione civica collettiva, una discussione, di nuovo, in cui dobbiamo decidere come vogliamo che il nostro mondo funzioni.

Il libro mostra chiaramente come la disuguaglianza sia oggi incorporata nelle tecnologie di intelligenza artificiale a ogni livello e che sono necessari interventi etici e normativi non solo in merito all’impiego di queste tecnologie, ma in ogni fase del processo. È possibile attuarli e cambiare il corso degli eventi in modo da ridurre le disuguaglianze o è troppo tardi?
Credo che ci sia speranza, che ci sia una possibilità per noi di avere più voce in capitolo su come viene utilizzata l’IA e su come sia regolamentata. Per esempio una piccola speranza viene anche dall’UE e dal primo disegno di legge che tenta di regolamentare l’IA nel suo complesso. È un provvedimento che ha ovviamente punti di forza e di debolezza, non è un atto legislativo perfetto, tuttavia indica come ci sia consapevolezza di una reale necessità di regolamentare l’intelligenza artificiale e l’impatto che ha sulla vita di tutti i giorni in così tanti modi diversi e profondi. Penso che abbiamo ora l’occasione di creare una conversazione pubblica e legislativa molto reale che potrebbe produrre delle vere guide su come vengono utilizzati questi sistemi. Però quando lo faremo, dovremo non solo esaminare i risultati dei sistemi di intelligenza artificiale per vedere come potrebbero produrre decisioni discriminatorie, ma anche guardare a come sono costruiti, quali dati vengono forniti, con quali logiche lavorano e che tipo di danno ambientale stanno causando in questa corsa a costruire modelli di AI sempre più grandi e concentrati.

Nella società attuale in cui le aziende private hanno domini transnazionali una regolamentazione nazionale può essere inefficace e una internazionale, globale sembra molto complessa da raggiungere. No?
In molti modi le aziende sono diventate quasi più degli stati nazionali o meglio hanno un tipo di potere che va ben oltre ciò che le leggi basate sugli stati nazionali possono fare. Per molti versi questo indica la necessità di avere organi di governance internazionali. La mia preoccupazione è infatti che se iniziamo a muoverci verso la regolamentazione a livello di stato-nazione, cominceremo a vedere un tipo di arbitraggio normativo in cui le aziende si sposteranno semplicemente nelle aree in cui saranno meno regolamentate. Sfortunatamente siamo in un momento storico in cui la fiducia nelle istituzioni internazionali e nelle istituzioni in generale è ai minimi storici, proprio in un momento in cui abbiamo bisogno di una maggiore cooperazione e collaborazione internazionale, attorno a questa questione fondamentale della governance dell’IA come a quelle molto importanti che dobbiamo affrontare quali clima, migrazioni, guerre. Quello che mi rende ottimista è che parlare di IA ci costringe a parlare allo stesso tempo di diritti dei lavoratori, di giustizia climatica, di protezione dei dati. Dobbiamo pensare a questi problemi nel loro insieme.

Alla fine del libro sembri insinuare che potremmo decidere che non dobbiamo andare fino in fondo con le tecnologie AI, che come sono ora portano un peso di disuguaglianze e costi troppo alto. È questa la tua idea dopo questo libro? Qual è il futuro dell’IA che prevedi e quale pensi sarebbe migliore?
Una delle cose che mi preoccupa di più dell’attuale conversazione sull’IA è il presupposto che tutte queste tecnologie siano inevitabili che, se possono essere costruite, devono essere costruite e dovrebbero essere utilizzate. Invece penso che dobbiamo avere uno scetticismo molto maggiore e discernere tra dove questi sistemi siano effettivamente utili e dove siano davvero problematici. Abbiamo visto alcune di queste conversazioni in merito alle tecnologie di riconoscimento facciale. Sono state criticate per le imperfezioni tecniche come non essere in grado di registrare diverse tonalità di pelle, di come non riconosca i volti femminili, etc. Invece dovremmo parlare di questioni più profonde, non solo tecniche: è opportuno usare il riconoscimento facciale, che danno porta questo uso al tessuto civile e sociale. È questo che intendo nel libro quando parlo di una “politica del rifiuto”, della capacità di dire “non qui, non questo sistema e non per questa comunità”. Dobbiamo riuscire a dire quando è necessario che una tecnologia non è da adoperarsi in un determinato contesto e creare limiti e confini reali su dove e come alcune di queste tecnologie possono essere impiegate.

Per concludere, hai un messaggio per chi legge il tuo libro? Un’idea chiave che li guidi nella lettura?
Penso che un messaggio importante stia nel titolo dell’edizione italiana e che dobbiamo capire che l’IA non è né artificiale né intelligente. Ha costi planetari enormi e questo significa che dobbiamo affrontare una serie di sfide reali: da quelle sul lavoro umano a quelle su come vengono raccolti i dati - senza consenso - a quelle sull’impronta ecologica di questi sistemi che abbiamo lasciato diventare sempre più grandi. Dobbiamo chiederci come affrontare queste sfide come pianeta, collettivamente e iniziare a pensare a queste domande nel loro complesso.

I LIBRI DI KATE CRAWFORD