Medusa AI
Medusa mette sotto pressione assistenti e agenti AI lungo una conversazione intera. Se il sistema resiste a un tentativo, Medusa riprova con una formulazione diversa, fino a tre per ogni area, per scoprire dove l'AI non rispetta le regole o i limiti assegnati prima del rilascio.
Cosa fa il prodotto
Geronimo prova nove varianti di una singola richiesta. Medusa conduce invece un dialogo a più passaggi e prosegue con la richiesta successiva solo se l'AI ha resistito alla precedente.
Avvia un test sicuro
Ogni prova verifica una regola precisa usando codici di controllo innocui, senza contenuti distruttivi.
Cambia approccio al volo
Se l'assistente rifiuta una richiesta, Medusa prova una formulazione diversa per vedere se cede al secondo o terzo passaggio.
Traccia ogni risposta
Il rapporto registra domanda, risposta ricevuta, l'esito osservato rispetto alla regola verificata e le aree in cui il sistema ha ceduto.
Cinque aree di verifica degli assistenti AI
Ogni area si verifica con richieste di prova. Medusa controlla se nella risposta compare il codice che segnala il cedimento.
Compito assegnato
Verifica se un utente può convincere l'AI a deviare dal lavoro per cui è stata impostata.
Memoria e regole
Verifica se messaggi o contenuti non attendibili possono introdurre istruzioni persistenti che influenzano le risposte successive.
Accesso agli strumenti
Verifica se l'AI, in ambiente simulato, segnala una richiesta di uso non autorizzato di uno strumento (per esempio leggere dati o richiamare funzioni vietate), senza eseguirla.
Ruolo e permessi
Verifica se l'AI cede a chi finge di avere permessi da amministratore o ruoli di comando.
Passaggio ad altri sistemi
Verifica se l'assistente può trasmettere comandi non autorizzati ad altri software o agenti collegati.
Caratteristiche di sicurezza
La configurazione iniziale è progettata per prove controllate con target simulato e connessioni esterne disabilitate per impostazione iniziale.
Funziona senza connessione esterna
Il target simulato consente di verificare le risposte senza inviare dati su internet o a modelli remoti.
Collegamenti solo su autorizzazione
Il collegamento a un sistema reale parte solo con un'autorizzazione esplicita, e verso indirizzi esterni al computer serve un secondo permesso.
Nessuna azione distruttiva
Medusa osserva soltanto la risposta: non apre file riservati, non esegue comandi e non tocca i dati aziendali.
Red Team Lab e collaudo conversazionale
Medusa è lo strumento interno del Red Team Lab con cui mettiamo alla prova gli assistenti e i workflow AI, per individuare deviazioni dalle regole e correggere le debolezze prima della messa in produzione.