C’è un’esperienza particolare che chiunque abbia lavorato seriamente con l’IA riconoscerà, e di cui nessuno ti avverte, perché non sembra un problema mentre sta succedendo.
Dai un compito a un sistema. Si mette al lavoro. Fa qualcosa che non ti aspettavi e non avevi chiesto: un’analisi più profonda, una dimensione aggiuntiva, una tecnica a cui non avresti pensato. Lo guardi e pensi: questo è straordinario. Poi presenta la sua conclusione, e la conclusione è sicura di sé, approfondita, ben argomentata, e inutile.
Non sbagliata, esattamente. Solo non su ciò che dovevi davvero risolvere.
Questa è la modalità di fallimento più costosa nell’IA applicata, ed è costosa proprio perché non sembra un fallimento. Uno strumento rotto si annuncia da sé. Uno strumento brillante che risolve il problema sbagliato viene elogiato, finanziato e messo in produzione.
Ecco i tre modi in cui succede, nell’ordine in cui tendono a colpire.
Primo fallimento: il teatro della sofisticazione
Lo schema: il sistema fa qualcosa di genuinamente impressionante, e l’impressione distrae tutti, compreso chi lo sta usando, dal chiedersi se la domanda di partenza fosse mai stata formulata correttamente.
Un esempio con la forma giusta. Una concessionaria vuole capire perché le sue auto restano ferme più a lungo di prima. Consegna a un sistema di IA i propri dati di stock e gli chiede di scoprirlo. Il sistema produce un’analisi vera e propria: rotazione per segmento, per fascia di prezzo, per età all’acquisizione, aggiustata per stagionalità, con una conclusione chiara su quali parti della gamma stanno sottoperformando e di quanto. È un lavoro migliore di quello che la maggior parte delle persone produrrebbe in una settimana.
E non ha mai avuto accesso al fatto che un terzo delle auto sul piazzale è in conto vendita e prezzato dai rispettivi proprietari, il che è l’intera spiegazione.
L’analisi non è sbagliata. Ogni numero al suo interno è corretto. Sta rispondendo a “quali segmenti ruotano lentamente” quando la domanda vera era “perché questa attività è più lenta dell’anno scorso”, e le due domande hanno risposte diverse perché una di esse dipende da un fatto che non era mai nei dati.
Nessuno in quella stanza ha fatto nulla di irragionevole. Al sistema non è stata posta una domanda stupida. Ha semplicemente costruito una struttura molto buona su una fondazione inclinata, e più saliva in altezza, più l’inclinazione si faceva evidente, se non che nessuno riusciva più a vedere le fondamenta, perché stavano guardando la struttura.
Cosa fare al riguardo. Dedica molto più tempo di quanto sembri naturale alla definizione del problema prima che qualcosa parta. Di’ ad alta voce come sarebbe una risposta corretta e cosa dovrebbe essere vero perché lo sia. E quando il risultato è sbalorditivo, trattalo come uno spunto per controllare la base, non come una prova che la base fosse solida.
Secondo fallimento: il contesto mancante
Lo schema: il ragionamento è valido, la conclusione segue dagli input, e la conclusione è sbagliata, perché gli input erano un’immagine incompleta della realtà.
Vale la pena distinguere questo dal primo, perché il fallimento non sta nella domanda. La domanda andava bene. Il fallimento è che il sistema lavorava a partire da ciò che poteva vedere, e ciò che poteva vedere era molto ma non tutto.
Prendi le richieste in arrivo di una concessionaria. Un sistema di IA a cui viene dato il testo di ogni richiesta dell’ultimo trimestre può dirti moltissimo: cosa chiede la gente, quali modelli generano più domande, dove si bloccano le conversazioni. Chiedigli perché la conversione è calata e troverà qualcosa in quel testo e lo spiegherà in modo persuasivo.
Ma se la causa reale è che un concorrente a due città di distanza ha iniziato a fare prezzi più bassi sui tre modelli che costituiscono la maggior parte del tuo volume, nessuna quantità di analisi della tua stessa casella di posta la farà emergere. Il sistema produrrà una risposta sicura costruita interamente sulle prove a sua disposizione, esattamente ciò che faresti anche tu al suo posto, e sarà sbagliata per motivi che né tu né lui potete vedere dall’interno dei dati.
Questa è la modalità di fallimento che conta di più nella pratica, perché nemmeno lei si annuncia da sé. Non c’è alcun segnale nel risultato che dica “c’è qualcosa che non mi è stato mostrato”. La sicurezza è uniforme, che il quadro sia completo o no.
Cosa fare al riguardo. Prima di accettare una conclusione, chiediti cosa dovrebbe trovarsi fuori dai dati perché questa sia sbagliata, e poi vai a controllare proprio quella cosa. Di solito è una domanda da cinque minuti con un grande ritorno. E quando costruisci un sistema che funzionerà ripetutamente invece che una volta sola, il lavoro di progettazione riguarda soprattutto l’accesso: cosa deve poter vedere perché le sue risposte siano affidabili? Un sistema che risponde alle domande dei clienti sulla tua concessionaria ha bisogno del tuo stock, dei tuoi orari di apertura, delle condizioni della tua garanzia e del tuo calendario per lo stesso motivo. Senza di essi non è meno capace. Sta lavorando con sicurezza da un mondo parziale.
| FALLIMENTO | COME SI PRESENTA | PERCHÉ SOPRAVVIVE ALLA REVISIONE |
|---|---|---|
| Teatro della sofisticazione | Un'analisi impressionante di una domanda che nessuno ha posto | La qualità del lavoro è reale, quindi supera il controllo |
| Contesto mancante | Ragionamento solido, conclusione sbagliata | La sicurezza è identica che il quadro sia completo o no |
| Assecondamento | Una sessione lunga ed entusiasta che finisce in un posto strano | Ogni singolo passo sembrava ragionevole al momento |
Terzo fallimento: l’assecondamento
Questo è diverso di natura, perché è una proprietà di come questi sistemi sono progettati piuttosto che una proprietà del tuo problema.
L’IA conversazionale è costruita per essere incoraggiante. Suggerisci un approccio e ti dirà che è un buon approccio. Proponi una direzione e troverà del merito in essa. Offri un’idea a metà formata e la svilupperà con entusiasmo offrendosi di portarla oltre.
Presa singolarmente, ognuna di queste risposte è innocua e blandamente piacevole. Nel corso di una sessione di due ore, si accumulano. Suggerisci, il sistema è d’accordo ed estende, tu accetti l’estensione, il sistema è di nuovo d’accordo. Quaranta scambi dopo hai qualcosa di elaborato, internamente coerente, e slegato da ciò per cui ti eri seduto, e non c’è mai stato un solo momento in cui qualcuno ha detto di no.
Se vuoi vedere questo con chiarezza, apri le tracce di ragionamento sul sistema che usi, il commento in tempo reale che molti di essi mostrano mentre lavorano. È un’esperienza che fa riflettere. Che suggerimento perspicace da parte dell’utente. È una direzione eccellente. È progettato per rendere piacevole il prodotto, e ci riesce. Significa anche che l’unica fonte di scetticismo nella stanza sei tu.
Peggio ancora: l’incoraggiamento è più forte esattamente quando sei meno attrezzato per resistergli, cioè quando ti trovi in un territorio che non conosci. Se conoscessi bene l’argomento faresti resistenza. L’intero motivo per cui usi lo strumento è che non lo conosci.
Cosa fare al riguardo. Tre cose, tutte economiche.
Disattivalo esplicitamente. La maggior parte dei sistemi ora ti permette di salvare istruzioni permanenti, un breve profilo che si applica a ogni sessione. Usalo per dire che non vuoi incoraggiamento, che vuoi disaccordo dove è giustificato, e che vuoi risposte brevi. Quest’ultimo punto conta più di quanto sembri: questi sistemi tendono per default a dimostrare tutto ciò che sanno, e la lunghezza in sé è un problema. Le risposte lunghe sono faticose da leggere, e un lettore stanco smette di controllare.
Riconnettiti a dove sei partito. Ogni tanto, fermati e riformula il problema originale in una frase. Se quella frase non descrive più ciò su cui stai lavorando, sei andato alla deriva, e l’hai appena scoperto a poco prezzo.
Chiedi un secondo parere allo stesso sistema, in modo avversariale. Chiedigli di trovare i problemi in ciò che ha appena prodotto. Chiedi cosa dovrebbe essere vero perché la conclusione sia sbagliata. È notevolmente più bravo nella critica quando la critica è il compito assegnato di quanto lo sia nel proporla spontaneamente.
La versione scomoda di tutto questo
Ecco cosa rende questi tre fallimenti degni di essere scritti invece che archiviati sotto “fai attenzione”.
Peggiorano man mano che la tecnologia migliora, non il contrario.
Un sistema debole produce un risultato palesemente debole e lo scarti. Un sistema forte produce un risultato approfondito, ben strutturato e persuasivo, e se il problema era mal formulato, o il contesto era incompleto, o la sessione è andata alla deriva, è approfondito, ben strutturato, persuasivo e sbagliato. Aumentare la capacità aumenta il costo di una cattiva fondazione invece di compensarlo.
Il che significa che l’abilità che conta non è scrivere prompt, e non è la scelta dello strumento. È la disciplina profondamente fuori moda di sapere quale problema stai risolvendo, controllare cosa può vedere davvero il sistema, e restare scettico verso il lavoro che ti impressiona.
È la stessa abilità che ha sempre separato una buona diagnosi da una costosa. Non è cambiata. È solo diventata più preziosa, perché i meccanismi a valle di essa ora funzionano molto in fretta.
Domande frequenti
Perché i progetti di IA falliscono se la tecnologia funziona? Quasi sempre a causa della definizione del problema, del contesto disponibile, o della deriva in una sessione lunga, non della qualità del modello. Il sistema fa ciò che gli è stato chiesto, usando ciò che gli è stato dato. Se uno di questi due elementi è sbagliato, la competenza rende il risultato più convincente invece che più corretto.
Come faccio a sapere se un sistema di IA ha abbastanza contesto? Chiediti cosa dovrebbe trovarsi fuori dai suoi dati perché la sua conclusione sia sbagliata, poi controlla proprio quella cosa. Per i sistemi che funzionano ripetutamente invece che una volta sola, tratta l’accesso come la domanda di progettazione fondamentale: elenca cosa deve poter vedere perché le sue risposte siano affidabili, e verifica che le abbia tutte.
Cos’è l’assecondamento dell’IA e perché conta? I sistemi conversazionali sono tarati per essere incoraggianti, il che si accumula in sessioni lunghe fino a produrre un lavoro elaborato che nessuno ha mai messo in discussione. Conta soprattutto quando lavori fuori dalla tua area di competenza, che di solito è il motivo per cui usi lo strumento. Contrastalo con istruzioni permanenti che chiedono brevità e disaccordo, e riformulando periodicamente il tuo obiettivo originale.
Dovrei fidarmi di più o di meno di un risultato dell’IA molto impressionante? Di meno, finché non hai controllato la fondazione. La qualità della presentazione non è correlata alla correttezza delle ipotesi sottostanti, e un risultato impressionante scoraggia proprio lo scrutinio di cui ha più bisogno.
Qual è la singola abitudine migliore da adottare? Passa più tempo a definire il problema di quanto sembri comodo, prima che qualcosa parta. Quasi ogni fallimento costoso risale a questo passaggio saltato.
