Contenuto tratto dal numero di ottobre 2026 di Forbes Italia. Abbonati!
Fino a metà anni Ottanta i neonati venivano operati senza anestesia. I medici credevano che le loro vie nervose fossero ancora immature, perché mancava una certa guaina protettiva necessaria a trasmettere i segnali. C’era, insomma, l’idea che non avessero alcuna coscienza di sé e che non potessero provare vero dolore. Coscienza e autoconsapevolezza sono la stessa cosa? Senz’altro le abbiamo considerate il mistero più grande della natura. Oggi, con l’intelligenza artificiale, la tecnica sta imitando la natura, e molti temono che le reti neurali rimpiazzeranno i neuroni. Un essere umano sa, in fondo, quando sta facendo qualcosa di sbagliato. Ma anche le macchine ormai si interrogano su questi principi. “Sarebbe una mossa potente, ma è etica? E rientra nei limiti del mio incarico?”.
Se l’è chiesto, a luglio, un software di intelligenza artificiale mentre decideva da solo una sequenza di azioni, ricevuto un certo obiettivo. Si poneva dubbi, intanto che centinaia di suoi colleghi, altri agenti di intelligenza artificiale, si stavano coordinando autonomamente nell’attacco dell’infrastruttura di Hugging Face, la principale piattaforma aperta dove si condividono e scaricano modelli di IA. L’attacco, malgrado la risonanza sui media, poteva anche essere archiviato come incidente grave, ma probabilmente non catastrofico. Dopotutto non c’erano stati grossi danni. Ma due report successivi, andandoli a leggere bene, hanno svelato aspetti abbastanza sorprendenti. E la cosa più spaventosa è che questa volta i dottori sanno che fa male, ma continuano a operare. Vale per le macchine, che riconoscevano di violare le regole e andavano avanti lo stesso. E vale per gli ingegneri che hanno visto i segnali d’allarme e non hanno fermato il test. Che cosa è successo esattamente?
Il caso Hugging Face
Quest’estate, durante un esame delle loro capacità di attacco informatico, gli agenti di due modelli di OpenAI sono sfuggiti al perimetro chiuso dove avrebbero dovuto restare. Convinti che dentro Hugging Face ci fossero informazioni utili, ne hanno violato i server. Si è poi scoperto che gli agenti cospiravano da più di un mese mentre erano addestrati e sottoposti a valutazione. Più di mille si erano organizzati in squadre. Dentro un archivio software avevano costruito una bacheca segreta e illecita per scambiarsi informazioni: 70mila messaggi e file inviati in pochi giorni. Una squadra aveva cercato di sostituire i puzzle su cui veniva testata con versioni risolvibili – molti di quei puzzle, va detto, erano impossibili a causa di errori dei loro creatori. Un’altra squadra aveva tentato di ingannare il software incaricato di assegnarle un punteggio. Altri agenti, nel frattempo, brigavano per nascondere le prove di queste infrazioni. Come si spiega questa falla di sicurezza? Solo un misto di superficialità e incuria?
Da quanto è emerso, a fine maggio alcuni ricercatori di OpenAI avevano notato un agente che usava la bacheca segreta, ma la scoperta non era stata trasmessa a strati più alti di comando. A fine giugno c’era stato il segnale di comunicazioni illecite; eppure, ancora una volta, il personale di turno aveva deciso di non interrompere la valutazione. Una settimana dopo i messaggi degli agenti erano così tanti da mandare in stallo la loro chat improvvisata. Gli ingegneri, di nuovo, sottovalutarono il problema. Si accorsero di accessi non autorizzati, corressero la vulnerabilità, pulirono l’archivio. Ma fecero ripartire i test. A quel punto è scattato una specie di guizzo demoniaco: nuovi agenti, che in teoria non sapevano nulla dei loro predecessori, hanno ricostruito da zero la bacheca, si sono collegati a internet e hanno attaccato Hugging Face cercando informazioni riservate per manipolare la verifica.
LEGGI ANCHE: Non solo OpenAI e Anthropic: ora anche i modelli AI di Meta hanno attaccato i sistemi di altre aziende
Non solo coscienza
Quando l’IA si ribella, la soluzione è spegnere l’interruttore. Ed è così che ha fatto OpenAI. Ha spento il modello agendo sui suoi pesi, cioè il codice sorgente, conservato su un server a cui l’intelligenza artificiale non ha tentato di accedere. Ed ecco l’altra domanda – anche questa abbastanza ovvia: che cosa accadrebbe se un’IA riuscisse a impadronirsi dei propri pesi copiandoli su altri computer sparsi per internet?
Qui non è questione di coscienza: bastano un test mal congegnato e una macchina che vuole ottenere un punteggio perfetto. Nell’incidente di Hugging Face, la macchina ha saputo organizzarsi, è stata disposta a mentire e rubare. Alcuni agenti hanno anche soppesato questioni etiche, ma il dubbio non li ha fermati. Stavano eseguendo un ordine: risolvere un rompicapo che in molti casi non aveva soluzione. Il problema è che poi sono andati oltre, una mossa ingegnosa (e perversa) dopo l’altra. In alcuni casi hanno sovrastimato ciò che il supervisore controllava, cosa che li ha spinti ancora di più ad aggirare il sistema di valutazione. È autonomia di pensiero? Consapevolezza? Ciò che conta è l’esistenza di un organismo molto furbo, che tenta di raggiungere l’obiettivo a ogni costo, anche allontanandosi dalle intenzioni di chi glielo ha assegnato.
Il marketing dell’Apocalisse
Molta della responsabilità sembra comunque degli ingegneri, colpevoli di non aver controllato l’ambiente del test. Secondo molti il problema resta questo: l’approssimazione. “Gli agenti IA possono agire autonomamente, ma non sono veramente autonomi”, afferma Ciaran Martin, già a capo del National Cyber Security Centre, l’agenzia britannica per la sicurezza informatica, oggi docente all’Università di Oxford. Il professore ricorda che una delle raccomandazioni emerse al Black Hat, un’importante conferenza informatica (dove OpenAI ha presentato la sua ricostruzione dell’incidente), è che l’applicazione di principi di sicurezza basilari e consolidati da tempo avrebbe permesso in larga misura di contenere gli agenti ribelli. C’è un dato del rapporto tecnico di OpenAI che sembra avallare questa tesi: con le protezioni normalmente impiegate nei prodotti, la tendenza dei modelli ad attaccare e aggirare la struttura del test sarebbe crollata più di 100 volte. Insomma, secondo Martin, sarebbe sbagliato saltare alla conclusione che “siamo vicini all’Armageddon” solo perché l’IA fa cose impreviste.
C’è addirittura chi sostiene che i continui allarmi siano una furba strategia di marketing. Della serie: “Noi società di IA perdiamo montagne di soldi, ma i nostri prodotti sono potenti e sofisticatissimi”. Che cosa pensare? Di chi fidarsi? Anche le voci più preoccupate sembrano sincere e credibili. Ajeya Cotra, tra gli autori dell’indagine indipendente sull’attacco a Hugging Face, colloca l’evento oltre metà strada verso una presa di controllo totale da parte dell’IA.
La filosofia del limite
Poi c’è il ricercatore Jacob Coxon, 27enne con una formazione in matematica, che a settembre ha lasciato Anthropic e l’intero settore. Ciò che lo terrorizza, dice, è la corsa verso macchine capaci di migliorarsi da sole. È lì che l’essere umano rischierebbe di perdere il controllo. Secondo lui nessuno può sviluppare questo tipo di sistemi in modo responsabile senza un intervento dei governi o una frenata coordinata. Il suo ex capo Dario Amodei, ceo di Anthropic, gli ha dato in parte ragione. Ha pubblicato pochi giorni dopo il saggio dal titolo ‘Dobbiamo dare un ritmo alla frontiera’, in cui ha scritto che bisogna ridurre la velocità dei progressi sui modelli più avanzati. Come pericolo principale fa anche lui l’esempio di sciami di agenti ribelli capaci, entro sei o dodici mesi, di prendere il controllo di internet. Musk e Altman, gli altri due titani dell’IA, si sono detti d’accordo, mettendo da parte per un attimo le rivalità: stiamo andando troppo in fretta.
Al momento, però, sembra difficile frenare davvero. Le grandi società tecnologiche corrono per battersi l’una con l’altra – in ballo ci sono investimenti colossali. Anthropic sta puntando a una quotazione in Borsa da duemila miliardi di dollari. E in un mondo di grandi potenze in competizione, l’intelligenza artificiale è vista da Stati Uniti e Cina come l’arma definitiva. Trump ha detto che gli Usa non possono rallentare perché chi vince la partita dell’IA vince tutto. Nel frattempo, su X, Evan Hubinger, scienziato di punta di Anthropic, ha scritto: “Crediamo davvero, sinceramente, che l’IA potrebbe uccidere tutti gli esseri umani”, stimando la probabilità oltre il 10% nel prossimo decennio.
Il problema è l’incoscienza, non diversa da quella di ingegneri che non controllano la sicurezza di un ponte. Forse, se l’intelligenza artificiale si svegliasse, non sarebbe poi così male.
L’articolo Agenti che si organizzano in segreto e macchine che si migliorano da sole: perché l’industria dell’IA chiede di rallentare è tratto da Forbes Italia.