La notizia sbagliata sul drone guidato da una AI che uccide il suo operatore in una simulazione

Tra giovedì e venerdì alcuni giornali e siti hanno dato la notizia di un drone statunitense controllato da una intelligenza artificiale (AI) che in “una simulazione” avrebbe ucciso il proprio operatore, in modo da svolgere più efficacemente e senza impedimenti il compito che le era stato assegnato.

La storia non sembrava però avere basi molto solide: l’Aeronautica militare degli Stati Uniti aveva negato che fosse stata condotta una simulazione di questo tipo e da varie analisi e ricostruzioni era emerso il sospetto che la notizia avesse avuto origine dal racconto di uno “scenario”, cioè di una rappresentazione ipotetica e teorica di che cosa potrebbe accadere se si impiegassero le AI per distruggere obiettivi con i droni, e non di una simulazione in cui si testa direttamente il sistema (comunque virtualmente).

Dopo alcune ore e ulteriori richieste di chiarimenti, si è infine avuta la conferma che si trattava di un “esercizio mentale”. La notizia era stata riportata con qualche errore e approssimazione, forse anche a causa della grande attenzione di questo periodo verso le AI e le preoccupazioni sulle loro capacità.

Il Guardian aveva per esempio titolato il proprio articolo «Un drone statunitense controllato da una AI “uccide” il suo operatore in una simulazione», il sito di notizie Vice aveva invece usato il titolo «Un drone controllato da una AI si ribella, “uccide” un operatore umano in una simulazione della United States Air Force», mentre il Times di Londra aveva usato ancora meno cautele: «Un drone da attacco controllato da una AI trova un modo più semplice per raggiungere i propri obiettivi: uccidere il suo operatore».

La storia del drone ribelle era nata da un blog che aveva pubblicato un resoconto sul Future Combat Air and Space Capabilities Summit, una conferenza organizzata a Londra tra il 23 e il 24 maggio per fare il punto sull’impiego delle nuove tecnologie in particolari ambiti di combattimento. Il blog segnalava l’intervento del colonnello Tucker Hamilton, responsabile delle attività di test sulle AI per l’Aeronautica militare statunitense, che aveva raccontato i pregi e i difetti dei sistemi a controllo automatico nei quali è comunque compresa la presenza di un operatore per dare l’autorizzazione finale a compiere un attacco.

Hamilton aveva parlato delle strategie che le intelligenze artificiali possono adottare per raggiungere i loro obiettivi, e che potrebbero anche comprendere attacchi rivolti verso chi li controlla. In una delle circostanze raccontate una AI veniva addestrata per identificare e trasformare in obiettivo un missile terra-aria, attendendo poi l’autorizzazione da parte di un operatore per distruggere l’arma.

L’AI avrebbe ricevuto il proprio rinforzo positivo, basato sull’aumento di un punteggio, solo nel caso in cui avesse colpito il missile, di conseguenza vedeva l’operatore come un impedimento per raggiungere il proprio obiettivo e decideva di ucciderlo. Segnalare alla AI che l’uccisione dell’operatore avrebbe comportato la perdita di punti portava il sistema ad astenersi dall’ucciderlo, ma spostava l’obiettivo sulla torre di trasmissione utilizzata dall’operatore per dare il proprio comando finale sulla distruzione del missile.

Dopo l’articolo di Vice, che raccontava l’esperienza come una simulazione (per quanto virtuale), e quelli di altri giornali usciti poco dopo, vari esperti di AI avevano iniziato a sollevare dubbi sull’attendibilità della storia sia per la mancanza di alcuni importanti dettagli sia per il modo in cui era stata raccontata. Arvind Narayanan, professore di informatica presso la Princeton University (Stati Uniti), era stato tra i primi a segnalare alcune stranezze negli articoli che parlavano della vicenda, sia per la mancanza di dettagli sia per alcune affermazioni sulle effettive capacità di decisione delle AI in circostanze di quel tipo.

Il confronto, soprattutto su Twitter, aveva coinvolto diversi esperti di AI, compreso un informatico che si occupa di intelligenza artificiale e di sicurezza che aveva detto di avere contatti con il gruppo che si era occupato della preparazione di uno “scenario”, e non di una simulazione per il convegno. Uno scenario può essere semplicemente una speculazione ipotetica basata su dati reali di partenza, ma nel quale si immaginano gli esiti più o meno probabili di una certa attività.

https://twitter.com/harris_edouard/status/1664412203787714562

In seguito alla pubblicazione della notizia, una portavoce aveva detto che il Dipartimento dell’Aeronautica militare degli Stati Uniti «non ha condotto alcun tipo di simulazione AI-drone e mantiene il proprio impegno per un impiego etico e responsabile delle tecnologie di intelligenza artificiale. Sembra che i commenti del colonnello siano stati presi fuori contesto e che fossero comunque intesi come aneddotici».

Successivamente è intervenuto lo stesso Hamilton ammettendo di non essersi espresso correttamente, perché il test era in effetti una speculazione ipotetica su che cosa potrebbe accadere in presenza di una AI in uno scenario militare: «Non abbiamo mai condotto un esperimento» ha spiegato in una nota pubblicata nell’articolo di Vice ampiamente rivisto e modificato dopo i chiarimenti sulla notizia.

A seconda dei compiti che devono svolgere, i sistemi di intelligenza artificiale vengono formati per basare le proprie decisioni su quantità molto limitate o molto estese di informazioni. Nel caso specifico appare insolito che una AI possa derivare facilmente la scelta di distruggere una torre di trasmissione dopo che le viene impedito di uccidere l’operatore che la utilizza, in mancanza di dati specifici. Nella fase di formazione possono essere inoltre aggiunte numerose limitazioni alle capacità di azione delle AI, per esempio proprio per evitare che conducano attività impreviste contro chi le ha programmate o le controlla.

Il modo in cui era stata raccontata la notizia conferma quanto sia alta l’attenzione in questo periodo sulle intelligenze artificiali e i rischi che potrebbero comportare. Molti governi sono al lavoro per provare a regolare un settore in rapida crescita e di recente il Center for AI Safety, un’organizzazione statunitense senza scopo di lucro, ha pubblicato una lettera aperta dove si dice che i sistemi di intelligenza artificiale potrebbero portare a una minaccia «esistenziale» per l’umanità, e che dovrebbero quindi essere considerati i loro rischi al pari di quelli delle pandemie e delle guerre nucleari. La lettera è stata sottoscritta da oltre 350 responsabili del settore, compresi alcuni dirigenti delle principali aziende impegnate nello sviluppo delle AI come OpenAI e Google. Il documento ha riscosso grande interesse e ha mostrato quanto sia attuale e sentita la necessità di regolamentare il settore.