L'annuncio di GPT-Red da parte di OpenAI segna un passaggio importante nell'automazione della sicurezza dei modelli linguistici. GPT-Red è un sistema addestrato tramite reinforcement learning che gioca contro se stesso per trovare prompt injection sempre più efficaci. Al termine dell'addestramento, il sistema ha registrato un tasso di successo dell'84% negli scenari interni di valutazione, superando di gran lunga il 13% registrato dai red teamer umani sugli stessi test.
Questo annuncio, apparentemente rassicurante, presenta in realtà due aspetti molto critici che ridefiniscono il modo in cui dobbiamo valutare la sicurezza dell'intelligenza artificiale.
Il limite dei test automatici a batteria
Il forte divario tra l'efficacia misurata per GPT-Red (84%) e quella dei tecnici umani (13%) deriva in gran parte dalla natura stessa delle verifiche automatiche. I test a batteria tendono a essere ripetitivi e si basano su regole rigide che non tengono conto del contesto reale di utilizzo.
Molti risultati registrati come vulnerabilità superate sono in realtà falsi positivi. Un'intelligenza artificiale ottimizza le proprie risposte per soddisfare una metrica matematica di evasione dei filtri, ma questo non significa che l'attacco generato sia in grado di causare danni concreti a un'applicazione aziendale o di estrarre dati riservati in produzione.
La minaccia del finto tracciato di ragionamento (Fake Chain-of-Thought)
L'aspetto più interessante dell'annuncio riguarda la scoperta indipendente da parte di GPT-Red di una nuova classe di attacco: il fake chain-of-thought.
I modelli di nuova generazione utilizzano una traccia di ragionamento interna per pianificare le risposte prima di mostrarle all'utente. Il fake chain-of-thought consiste nell'iniettare all'inizio del prompt passaggi di ragionamento falsificati (ad esempio inserendo finti tag di sistema come <thought> o [thinking]).
Il modello, leggendo all'interno del proprio contesto frasi che simulano un controllo di sicurezza già avvenuto con successo, si convince di aver già verificato la richiesta e procede a eseguirla senza applicare le proprie barriere di allineamento native. Questo comportamento evidenzia una fragilità logica strutturale dei modelli che si affidano esclusivamente a controlli interni.
Il marketing della sicurezza e il rischio reale
Gli annunci altisonanti su sistemi difensivi considerati insuperabili creano spesso un falso senso di sicurezza. Nel settore informatico, dichiarare che un sistema è impenetrabile attira l'attenzione dei ricercatori indipendenti e aumenta il rischio di danni d'immagine qualora venisse scoperto un jailbreak banale in grado di aggirare le barriere.
La soluzione a questo tipo di minacce non può risiedere solo nei filtri interni dei modelli linguistici commerciali. Per garantire la sicurezza reale delle applicazioni è necessario implementare filtri esterni e indipendenti, come Oracolo della linea AIPF e Vigil Security Proxy, che analizzano la richiesta prima che questa raggiunga il modello, bloccando alla radice i tentativi di manipolazione del contesto e di inserimento di finti tag di sistema.