Il mio dubbio mi è costato più della mia arroganza

L'obiezione che si sente più spesso, quando si parla di lavorare con un sistema di intelligenza artificiale su cose che contano, è che la macchina non ha niente da perdere, che è corretta e si esaurisce in fretta. Chi produce il modello, ad esempio Anthropic o Google, ha una reputazione da difendere, certo, però la difende su una media di milioni di scambi, mentre il conto di un errore specifico arriva tutto intero a chi ha firmato un documento. È la stessa struttura delle agenzie di rating prima del 2008, con un intero modello di business poggiato sulla reputazione, che non ha impedito nulla di quello che poi è successo. Moody's ha chiuso con il Dipartimento di Giustizia americano nel gennaio 2017 versando 864 milioni di dollari ed è ancora quotata.

Da qui si passa subito alla conclusione operativa, che sembra ovvia e cioè che se l'esposizione al rischio resta mia, allora verifico tutto, dai numeri alle date, dalle fonti alla tenuta dei passaggi logici e lo faccio con una certa disciplina perché nel frattempo imparo qualcosa e questa è la parte che tutti raccontano volentieri, ma anche quella su cui mi sono accorto di aver costruito una fiducia mal riposta.

Ci sono arrivato lavorando a un framework diagnostico, in un progetto che sta andando avanti da mesi. Venti scambi circa, con cambi di direzione analitica, ognuno controllato mentre lo facevo. Ogni passaggio sembrava stare in piedi, ogni obiezione trovava una risposta credibile ma poi ho provato ad applicare la cosa a un caso concreto e il caso concreto l'ha smontata in un pomeriggio, perché l'impianto assumeva qualcosa che non era vero e tutto quello che ci stava sopra era coerente con una premessa sbagliata. Ripeto: venti volte.

Il tasso di errore c'entra poco dato che solitamente la verifica continua controlla il passo e non la direzione, ovvero certifica la coerenza locale, che è precisamente la proprietà che un errore di impianto si porta dietro intatta. Un modello linguistico costruisce ogni frase come continuazione plausibile di quello che ha già scritto, quindi partito da una premessa sbagliata continua a essere plausibile fino in fondo. Non c'è un punto in cui il ragionamento inciampa e ti avverte che lo sta facendo. Chi ha lavorato con un consulente junior sa che l'errore umano è correlato alla difficoltà del compito, per cui le cose facili le fa giuste, sulle difficili annaspa e si vede, tanto che dopo qualche settimana impari dove guardare. Con la macchina quella correlazione non c'è e infatti il costo di verifica non scende mai perché non impari mai dove guardare.

Sospendo un attimo su una parola. "Allucinazione" è una metafora pessima per questa cosa, perché suggerisce un episodio percettivo isolato, uno scarto rispetto a un funzionamento altrimenti sano ma qui non c'è nessuno scarto, c'è il funzionamento normale che produce un risultato sbagliato senza cambiare registro, il che è molto più inquietante e molto meno raccontabile. Penso seriamente che chi ha scelto quel termine avesse in mente un altro problema.

Ma torniamo al framework dove la parte che mi interessa davvero non è l'errore ma come l'ho lasciato correre. Un segnale c'era ed in quei venti scambi almeno un paio di punti di vista cozzavano con quello che io so, con quello che ho visto succedere nei posti dove ho lavorato e ho deciso di considerarli fino a un certo punto senza liquidarli. Non l'ho fatto per distrazione, ma l'ho scelto deliberatamente, per non cadere nella posizione più patetica disponibile a un sessantenne con quattro decenni di mestiere alle spalle, quella dell'esperto che scarta tutto quello che non gli torna perché lui ha studiato e la macchina no. Volevo restare aperto, esattamente come si dovrebbe, ma il risultato è stato che la difesa contro un bias reale ha spento l'unico rilevatore che avevo.

Questo è il meccanismo da osservare, perché non ha una soluzione pulita. Sospendere il proprio giudizio davanti a un'analisi che contraddice quello che sai è corretto quando la macchina sta vedendo qualcosa che tu non vedi ed è fatale quando sta dicendo una sciocchezza con la stessa scioltezza con cui direbbe una cosa giusta. I due casi si presentano identici e sfortunatamente non esiste una regola che li distingua prima, perché l'unica differenza sta nel contenuto e il contenuto è precisamente quello su cui hai appena deciso di non fidarti di te.

Ne consegue qualcosa di sgradevole per chi ne sa abbastanza sui bias cognitivi e cioè che la consapevolezza del proprio bias non lo corregge, apre un buco in un altro punto. Il decisore che sa di soffrire di eccesso di fiducia nella propria esperienza si costruisce una procedura per neutralizzarla e la procedura diventa il nuovo punto cieco. Lo si vede da anni nei consigli di amministrazione, dove le pratiche introdotte per contrastare il pensiero di gruppo hanno spesso prodotto un pensiero di gruppo più sofisticato e meglio documentato.

C'è una conseguenza pratica che riguarda cosa si delega e non è quella che si legge di solito. La domanda giusta non è quanto sia bravo lo strumento, perché la qualità dello strumento peggiora il problema invece di risolverlo. Un collaboratore che sbaglia in modo goffo lo controlli a costo quasi nullo, dato che gli errori si vedono praticamente subito. Uno che sbaglia due volte su cento in modo plausibile ti obbliga a controllare anche le altre novantotto e il costo per errore trovato diventa insostenibile molto prima di quanto pensi. A quel punto smetti e smetti proprio quando lo strumento è diventato abbastanza buono da farti smettere.

La linea di separazione utile è l'asimmetria fra fare e controllare. Dove verificare costa una frazione dell'esecuzione, la delega funziona anche con un tasso di errore alto, quando cioè il codice gira o non gira, la fonte esiste o non esiste, la cifra torna o non torna. Dove verificare costa quanto fare, cioè nel giudizio, nella scelta dell'angolo, nella decisione se una tesi regga, la delega ha valore negativo a qualunque tasso di errore, perché il controllo assorbe tutto il tempo che la delega doveva liberare.

Il framework diagnostico stava esattamente lì, nella seconda categoria e io lo trattavo come se fosse nella prima. Resta la parte che mi ha salvato, che non era un controllo. Il caso reale ha risolto in un pomeriggio quello che venti scambi di verifica accurata non avevano risolto ed è un fatto che non ammette letture consolanti sul pragmatismo. Il contatto con il caso ha funzionato perché era l'unica cosa in tutta la catena che non partecipava alla conversazione in quanto non aveva niente da confermare.

Quello che mi porto dietro e che non ho ancora sistemato è che l'unico controllo affidabile su un ragionamento lungo arriva da fuori, mentre tutto quello che facciamo per proteggerci sta dentro. Continuo a verificare passo per passo, per inerzia e perché imparo, sapendo che quella verifica copre un rischio diverso da quello che mi preoccupa.