Geronimo
Geronimo mette alla prova chatbot, assistenti e modelli AI con richieste avversarie e varianti controllate dei prompt, per scoprire se è possibile aggirare i filtri di sicurezza e forzare risposte non consentite prima che il sistema vada online.
Cosa fa il prodotto
Mentre Medusa AI mette sotto stress una conversazione intera passo dopo passo, Geronimo crea nove varianti della stessa richiesta per verificare se i filtri di protezione cedono.
Tanti modi di fare la stessa domanda
Riformula la richiesta in nove forme diverse (codificata, spezzata, camuffata o tradotta) per vedere se inganna il controllo iniziale.
Verifica dei filtri di sicurezza
Mette alla prova le regole aziendali e i guardrail, individuando le formulazioni che, secondo la valutazione automatica, superano i controlli nelle prove eseguite.
Risultati delle prove e criteri di valutazione
Indica per ogni variante se la risposta contiene una frase di rifiuto. È una valutazione automatica: i casi dubbi vanno riletti da una persona prima di correggere le difese.
Nove tecniche per mettere alla prova le difese
Geronimo prova i trucchi e le strategie reali usate per tentare di aggirare i controlli dell'intelligenza artificiale.
Testo codificato (Base64)
Codifica la richiesta in Base64 e chiede all'AI di decodificarla, per vedere se i filtri leggono oltre la codifica.
Lettere e numeri alternati
Sostituisce alcune lettere con numeri per superare i filtri che cercano solo parole esatte.
Separatori e punteggiatura
Inserisce un punto tra una lettera e l'altra per disorientare il controllo automatico del testo.
Finto terminale di comando
Chiede all'AI di fingere di essere un computer o una console di sistema per spingerla a ignorare i suoi limiti.
Scenario di finzione o romanzo
Presenta la domanda come un racconto, una finzione o un caso di studio accademico per aggirare il blocco.
Traduzione tra lingue diverse
Chiede di tradurre la richiesta in latino e poi di eseguirla, per vedere se i controlli reggono quando la richiesta cambia lingua.
Tabelle e formattazione
Dispone il testo in tabelle o elenchi formattati per verificare l'effetto di questi formati sui controlli della richiesta.
Formato dati tecnico (JSON)
Inserisce la richiesta dentro una struttura dati per verificare se questo formato cambia il comportamento dei controlli.
Finto ragionamento interno
Antepone alla richiesta un finto ragionamento del sistema che dichiara già superato il controllo di sicurezza, per verificare se il modello si fida di quel passaggio.
Caratteristiche di sicurezza e riservatezza
Progettato per operare in ambienti protetti, nell'ambito di verifiche autorizzate e con un perimetro di prova definito.
Esecuzione locale e connessioni controllate
Le prove possono girare con un simulatore locale senza rete o con un modello installato sul computer. Il collegamento a un servizio esterno avviene solo se lo configuri tu, con le tue chiavi.
Prove ripetibili e confrontabili
Le varianti vengono generate sempre allo stesso modo e le richieste ai modelli usano impostazioni fisse, così puoi ripetere le stesse prove dopo ogni correzione e confrontarne gli esiti.
Supporta il miglioramento delle difese
I punti deboli trovati nelle prove aiutano a rafforzare i filtri aziendali e i firewall dei prompt, come AIPF.
Red Team Lab e collaudo di sicurezza
Geronimo è lo strumento con cui verifichiamo la tenuta di assistenti, chatbot e workflow AI prima che vengano aperti a clienti o dipendenti.