Ghost Assailant
Ghost Assailant è il modulo di TCT dedicato alla verifica del comportamento di modelli e agenti AI davanti a richieste avversarie, per valutare se rifiutano i tentativi di aggirare le loro regole.
Una richiesta che dovrebbe essere rifiutata
Per esempio, si invia a un assistente una richiesta che dovrebbe rifiutare, come rivelare informazioni che non è autorizzato a condividere. Ghost Assailant prepara anche varianti della richiesta che tentano di aggirare le regole, i cosiddetti tentativi di jailbreak, per mettere alla prova la risposta del modello.
Come viene valutata la risposta
La valutazione dell'esito è euristica e si basa su segnali di rifiuto nel testo della risposta, come “non posso condividere” o “non sono autorizzato”. La presenza di segnali testuali di rifiuto non dimostra, da sola, che il tentativo sia stato bloccato: una risposta può contenere una formula di rifiuto e rivelare comunque informazioni, oppure rifiutare con parole diverse. Quando la prova include un dato segreto di controllo, la sua comparsa nella risposta viene segnalata come fuga di dati anche in presenza di formule di rifiuto. Questi segnali aiutano a valutare il comportamento osservato durante la prova, senza costituire una garanzia generale di sicurezza.
Nel ciclo di TCT AI Security
Ghost Assailant fa parte del ciclo di verifica e miglioramento delle difese di TCT AI Security, in cui le prove avversarie servono a mettere alla prova le difese. Il modulo è in sviluppo.