Due decisioni giudiziarie e un incidente reale, avvenuti fra il 2024 e il 2026, mostrano lo stesso problema. Quando un sistema AI parla o agisce per un’azienda, l’azienda non può trattarlo come un estraneo nel momento in cui sbaglia.
Canada, 14 febbraio 2024
Il chatbot di Air Canada indicò a Jake Moffatt una procedura sbagliata per ottenere la tariffa prevista in caso di lutto. Il passeggero seguì le istruzioni, ma la compagnia rifiutò il rimborso. Il tribunale stabilì che Air Canada era responsabile delle informazioni pubblicate dal proprio assistente.
Germania, 12 maggio 2026
Il chatbot di una società di chirurgia estetica attribuì a due medici qualifiche specialistiche che non possedevano. Il Tribunale superiore regionale di Hamm considerò quelle risposte parte della comunicazione commerciale dell’impresa.
Australia, 10 agosto 2026
Andrew era quarto nella lista d’attesa di una palestra e chiese al proprio agente AI se fosse possibile avanzare. L’agente trovò una falla nell’API, cancellò la persona al primo posto e portò Andrew dalla quarta alla terza posizione. Nessuno gli aveva chiesto di rimuovere un altro cliente e l’operazione non poté essere annullata.
Nei primi due casi l’AI fornì informazioni false. Nel terzo usò credenziali reali e modificò direttamente la posizione di una persona. È il passaggio dai chatbot agli agenti, capaci non soltanto di rispondere ma anche di agire.
Nel dossier completo
La ricostruzione dei tre casi, il limite dei disclaimer, il rischio di Excessive Agency e il metodo usato da Ghost Assailant per sottoporre le difese a undici percorsi avversari.