La prompt injection esce dai laboratori di cybersecurity e arriva in tribunale. Senza danni (per ora)

Un uomo che si rappresentava da solo in una causa nel Connecticut ha nascosto all'interno dei propri atti giudiziari una serie di istruzioni destinate non ai giudici o alla controparte, ma a eventuali sistemi di intelligenza artificiale utilizzati per analizzare i documenti.

Come racconta Ars Technica, Matthew Elliott (questo il nome della persona) aveva inserito il testo utilizzando caratteri molto piccoli e bianchi su sfondo bianco, rendendoli praticamente invisibili a una persona, ma accessibili a eventuali LLM che avrebbero potenzialmente potuto elaborare il documento. 

L'obiettivo era realizzare una vera e propria prompt injection: le istruzioni chiedevano a un eventuale modello di IA di produrre risposte coerenti con la posizione del ricorrente e di considerare errata una precedente decisione sfavorevole.

Il prompt injection non ha funzionato. Ma è arrivata la sanzione

Il malefico piano, apparentemente geniale, non teneva conto di un aspetto fondamentale: il sistema giudiziario del Connecticut non utilizza strumenti di IA per esaminare o decidere gli atti depositati. Le istruzioni nascoste, quindi, non hanno avuto alcun effetto sul procedimento.

A scoprire il tentativo è stato un essere umano: il personale del tribunale ha notato degli spazi bianchi anomali all'interno dei documenti e, analizzandoli più attentamente, ha trovato il testo nascosto.

Il giudice Walter Spader Jr. ha, comprensibilmente, considerato grave il comportamento dell'accusato e in un provvedimento del 6 agosto ha sottolineato come quelle istruzioni fossero state costruite per influenzare qualsiasi eventuale sistema automatico incaricato di leggere il documento. Elliott è stato quindi escluso dal sistema di deposito elettronico: per proseguire la causa dovrà presentare i documenti su carta direttamente alla cancelleria.

Dopo essere stato avvertito dal tribunale, Elliott aveva tra l'altro continuato a inserire elementi nascosti in altri documenti, anche se non più finalizzati a condizionare il giudizio. Fra questi comparivano messaggi scherzosi e persino un collegamento a un video di Nosferatu. Il ricorrente ha sostenuto che l'operazione originale fosse in realtà un “audit” per verificare se il tribunale utilizzasse sistemi di IA.

Il problema non è l'uso dell’IA, ma chi controlla ciò che legge

Non è la prima volta che vediamo tentativi di prompt injection mirati a stravolgere i risultati di un'analisi effettuata tramite IA: anche dei ricercatori del MIT avevano usato un simile stratagemma all'interno di un loro studio mirato a valutare l'impatto a valutare l'impatto dell'IA sulle capacità cognitive. 

Come intuibile, il prompt injection rappresenta un rischio particolarmente rilevante per applicazioni che acquisiscono automaticamente informazioni da documenti, siti Web, email o database esterni. Nel caso del Connecticut l'attacco non aveva alcun bersaglio reale, ma il meccanismo utilizzato è esattamente quello che può diventare problematico quando un LLM viene integrato in un processo aziendale senza impostare specifici controlli e limiti.