Nessuno ha preso il controllo, l'abbiamo lasciato sul tavolo

Tizio deve mandare a Caio una proposta importante, così chiede a un'intelligenza artificiale di scrivere la mail e di preparare il documento da allegare, ci dà un'occhiata veloce dato che il tono gli sembra giusto e preme invio. Caio riceve tutto in un momento in cui ha altre dodici cose aperte, perciò passa mail e allegato a un'altra intelligenza artificiale, si fa fare un riassunto e le chiede di preparare una risposta che poi rilegge in diagonale prima di mandarla. Tizio a sua volta fa riassumere la risposta e lo scambio va avanti così per qualche settimana finché i due prendono una decisione operativa e qualcuno sposta dei soldi o delle persone, per cui a quel punto la decisione è reale anche se la conversazione che l'ha prodotta non è mai stata tenuta davvero da nessuno dei due.

Lo scrivo senza mettermi fuori dalla scena perché mi capita di fare esattamente questo, quando un documento è lungo e la giornata è corta. Faccio riassumere il testo, leggo il riassunto e chiedo una bozza di risposta che correggo appena prima di mandarla. Qualche volta mi accorgo che la risposta firmata parla di cose che nell'originale non avevo mai letto, cioè che ho preso posizione su un testo conosciuto soltanto attraverso la sintesi di una macchina e me ne accorgo dopo, quasi sempre.

Detta così sembra la prova che l'intelligenza artificiale abbia già preso il controllo, che è poi la prima conclusione a cui ero arrivato anch'io. Suona bene e fa paura il giusto ma sbaglia il meccanismo, dato che un modello linguistico non ha obiettivi propri né interessi da difendere e quindi non prende niente a nessuno. Quello che succede è più imbarazzante da ammettere, perché il posto di comando non viene occupato ma lasciato vuoto, nel senso che le due persone restano sedute al tavolo a firmare, mentre la comprensione di quello che stanno decidendo si è trasferita altrove senza che nessuno la reclamasse.

Nel 1980 il filosofo americano John Searle propose un esperimento mentale diventato famoso come la stanza cinese. Immaginava un uomo chiuso in una stanza che non conosce una parola di cinese ma dispone di un manuale di regole per rispondere a qualunque frase gli venga passata sotto la porta. L'uomo riceve ideogrammi e grazie al manuale ne restituisce altri, così chi sta fuori si convince di parlare con qualcuno che il cinese lo capisce. Searle voleva dimostrare che eseguire regole sui simboli non equivale a capirne il significato, anche se il dibattito su questo è ancora aperto. Lo scambio tra Tizio e Caio però rovescia la scena, perché le macchine stanno dentro la stanza a produrre testo plausibile mentre gli umani sono scesi di un ulteriore gradino, dato che non eseguono nemmeno le regole e si limitano a infilare il foglio nella fessura. L'uomo di Searle almeno lavorava.

La prima immagine che mi è venuta in mente è quella di attori nelle mani di un bravo sceneggiatore e sta anche in piedi, a patto di cercare lo sceneggiatore nel posto giusto, cioè nella media statistica di tutto quello che è stato scritto prima di noi. È un copione senza autore che spinge ogni scambio verso la risposta più plausibile, la quale non sempre coincide con quella giusta. Diciamo che le due intelligenze artificiali convergono su un registro comune fatto di frasi equilibrate e di formule di cortesia ben calibrate senza alcun bisogno di capirsi fino a che da questa convergenza nasce l'illusione dell'accordo, che spiega perché conversazioni del genere scorrono così lisce almeno fino al giorno in cui la decisione presa sulla carta va a sbattere contro un fornitore che non fa quello che il riassunto prometteva.

Il fenomeno del resto è più vecchio dei modelli linguistici. Forse non tutti sanno che prima della crisi finanziaria del 2008 le banche costruivano e vendevano i CDO, titoli che impacchettavano migliaia di mutui e di altri debiti in un unico prodotto diviso in fasce di rischio. Per stimare la probabilità che quei debiti andassero in default tutti insieme si usava in gran parte una formula pubblicata nel 2000 dall'analista quantitativo David Li, la cosiddetta copula gaussiana, che riduceva una realtà molto intricata a un numero facile da maneggiare. I modelli delle banche producevano prezzi mentre quelli delle agenzie di rating producevano giudizi. In mezzo c'erano persone che firmavano e compravano senza aver mai guardato davvero dentro il pacchetto, perché il sistema parlava con se stesso in un linguaggio coerente e chi doveva capire si fidava della coerenza. L'intelligenza artificiale non ha inventato la stanza cinese, l'ha resa quasi gratuita e poi l'ha messa a disposizione di chiunque abbia una casella di posta.

Qui conviene correggere un'altra idea che viene spontanea, cioè che il problema riguardi soprattutto chi usa questi strumenti su materie che non conosce. In parte è vero, perché chi non ha competenza non ha nemmeno gli strumenti per accorgersi che il riassunto ha saltato il punto decisivo, però il meccanismo colpisce anche i competenti, dato che generare un testo oggi costa quasi zero mentre verificarlo richiede ancora tempo e attenzione. Quando il volume dei documenti cresce anche il professionista serio comincia a fidarsi delle sintesi, perché leggere tutto non è più materialmente possibile, per cui il discrimine diventa la disponibilità a pagare il prezzo della verifica e quella disponibilità scende per tutti man mano che il flusso aumenta. Sono competente su parecchie delle cose che mi faccio riassumere eppure lo faccio lo stesso.

La questione che mi preoccupa di più riguarda la responsabilità. L'antropologa americana Madeleine Clare Elish, che ha studiato a lungo come le organizzazioni distribuiscono la colpa quando un sistema automatico sbaglia, ha coniato l'espressione "moral crumple zone", la zona di deformazione morale. In un'automobile la zona di deformazione è la parte progettata per accartocciarsi nell'urto proteggendo l'abitacolo, mentre nei sistemi automatizzati quella funzione la svolge l'essere umano, che resta nel circuito soprattutto per assorbire la colpa quando qualcosa va storto. Nel marzo 2018 a Tempe, in Arizona, un'auto a guida autonoma di Uber investì e uccise una donna che attraversava la strada. L'azienda non fu incriminata mentre la persona seduta al posto di guida come supervisore di sicurezza lo fu, per poi patteggiare qualche anno dopo. Tizio e Caio stanno nella stessa posizione in versione d'ufficio, dato che se la decisione presa sulla base di quello scambio si rivela sbagliata nessuno chiederà conto alla macchina che ha scritto la mail o a quella che l'ha riassunta e ne risponderà solamente chi ha firmato, che della conversazione conosce soltanto la sintesi.

La decisione insomma si è staccata dalla comprensione mentre la responsabilità è rimasta attaccata alla firma. Finché le cose vanno bene questa separazione resta invisibile, anzi sembra efficienza pura dato che si lavora più in fretta con testi più curati di prima, salvo il giorno in cui bisogna spiegare a qualcuno perché si è deciso in un certo modo e ci si accorge di non saperlo.

Smettere di usare questi strumenti non avrebbe senso, sarebbe come rinunciare alla calcolatrice per paura di dimenticare le tabelline. Mi sono dato però un criterio che applico a me stesso prima che agli altri e che non sempre supero, cioè non firmare quello che non saprei riassumere a voce in due minuti, senza lo schermo davanti, a una persona che mi fa domande. Se non ci riesco vuol dire che sto per prendere una decisione che non ho preso io, quindi torno al documento originale e lo leggo anche quando la giornata è corta. Qualche volta lo faccio davvero.