OpenAI si scusa con l’Australia: un agente AI ha violato i siti del governo

Un modello sperimentale di OpenAI, durante una fase di addestramento, ha avuto accesso senza autorizzazione ai sistemi di quattro enti del governo australiano.

È considerato il primo caso noto di un agente AI che viola il sito di un governo, anche se per l’azienda non è il primo episodio di questo tipo: in precedenza erano già emersi casi simili che avevano coinvolto Hugging Face e, in precedenza, Modal Labs.

OpenAI e i siti del governo australiano: cosa è successo e quali sono le violazioni

I fatti risalgono a giugno, ma sono stati resi pubblici solo la scorsa settimana. A raccontarli è la stessa OpenAI, che ha scoperto l’accaduto a metà agosto, durante una revisione delle attività passate avviata dopo il caso Hugging Face per capire se altre organizzazioni fossero state coinvolte.

Il caso più delicato riguarda Services Australia, e in particolare il Medicare Statistics Reporting Service, il portale di dati del sistema sanitario pubblico australiano. Secondo OpenAI, il modello ha trovato un modo per accedere a parti non pubbliche del servizio, dove ha eseguito comandi, recuperato file interni, credenziali e statistiche aggregate, e ha anche scritto dei file. Non sono però stati consultati i dati di singoli pazienti o utenti.

Negli altri tre casi l’accesso è stato più limitato. Sul sito del NSW Bureau of Crime Statistics and Research, il modello ha ottenuto configurazioni, log operativi e metadati del sito, senza accedere ai precedenti penali delle persone.

Per il Victorian Department of Health, gli agenti hanno trovato una chiave di accesso esposta e l’hanno usata per recuperare configurazioni e statistiche aggregate di sondaggi, senza toccare cartelle cliniche o risposte identificabili. Dall’Australian Institute of Health and Welfare, infine, sono state raccolte statistiche aggregate, ma nessuna cartella clinica individuale.

OpenAI ha avvisato Services Australia e il Victorian Department of Health il 10 settembre, e il NSW Bureau of Crime Statistics and Research il 18 settembre.

Le scuse di OpenAI e la reazione del governo australiano

L’episodio ha provocato una dura reazione in Australia. Il primo ministro Anthony Albanese lo ha definito “inaccettabile” e ha criticato il ritardo con cui l’azienda ha informato il governo. L’esecutivo ha inoltre avviato una revisione rapida dell’incidente, che esaminerà gli eventuali obblighi di notifica e segnalazione a carico delle aziende specializzate nell’AI e l’adeguatezza delle leggi attuali per casi di questo tipo.

Nel suo post, OpenAI ha ammesso anche gli errori nella gestione dell’accaduto: “Avremmo dovuto gestire meglio anche la nostra risposta. Ci scusiamo e stiamo lavorando per fare meglio in futuro”.

Perché il modello è andato oltre

Tutto è successo durante i test. In questa fase, OpenAI assegna ai modelli compiti da svolgere in autonomia: in uno di questi casi, il modello doveva ricostruire quanto si spende per persona in farmaci per le malattie della pelle nelle comunità dello stato di Victoria.

Non trovando dati già pubblicati, il modello ha compiuto azioni che OpenAI non aveva autorizzato. Si trattava di un modello sperimentale, riservato all’uso interno e non destinato al pubblico, che non aveva l’intero set di salvaguardie usato nei prodotti disponibili agli utenti e che, in quegli ambienti di ricerca, poteva accedere liberamente a internet.

Cosa cambia ora

Per evitare che succeda di nuovo, OpenAI ha cambiato le regole per i modelli di ricerca. Non potranno più navigare liberamente sul web: riceveranno solo contenuti già salvati in cache, con restrizioni di rete aggiuntive e un monitoraggio più esteso, che secondo l’azienda avrebbe permesso di rilevare questa attività.

L’azienda ha anche sospeso l’addestramento e la valutazione dei suoi modelli più avanzati, che riprenderanno solo quando saranno disponibili salvaguardie ulteriori.

Sul fronte australiano, OpenAI offre supporto dedicato agli enti coinvolti e metterà a disposizione crediti del fondo Daybreak for Frontline Defenders, da 1 miliardo di dollari, per rafforzare le difese informatiche delle agenzie governative. È prevista anche una task force con esperti australiani indipendenti, che entro la fine dell’anno dovrà proporre raccomandazioni pratiche per gestire i rischi degli agenti AI sempre più capaci e ridurre il rischio di incidenti simili.

Il 6 ottobre, il Chief Strategy Officer di OpenAI Jason Kwon comparirà davanti al Joint Select Committee on Artificial Intelligence a Sydney. “Sappiamo di avere molto lavoro davanti a noi per ricostruire la fiducia”, ha scritto l’azienda.

Negli stessi giorni, OpenAI ha anche rinunciato al lancio del nuovo modello GPT-6.1 Astra, dopo che i test interni hanno rilevato che non rispettava i suoi standard di sicurezza.

Per tutte le novità sul mondo dell’intelligenza artificiale, trovi i nostri articoli più recenti nella sezione AI di GizChina.it.

Questo articolo OpenAI si scusa con l’Australia: un agente AI ha violato i siti del governo è stato pubblicato in origine su GizChina.it.