Ho letto tutto il saggio di Dario Amodei sui rischi dell'IA con gli occhi di un Giurista Europeo. Ve lo racconto.
In "The Technology Adolescence" c'è un punto cieco grande come un continente.
Cari Gladiatori e Gladiatrici Digitali,
Qualche giorno fa Dario Amodei, il CEO di Anthropic, ha pubblicato un saggio lungo 36 pagine. Si intitola The Technology Adolescence e il sottotitolo è una dichiarazione d’intenti: Affrontare e superare i rischi delle IA avanzate.
L’ho letto tutto d’un fiato. Poi mi sono seduta e ho pensato: questo paper andrebbe letto da tutti. Ma chi lo farà davvero? È in inglese, è denso, è lungo. Probabilmente pochissimi.
E questo mi ha convinta a scrivere quello che state leggendo.
Perché non capita spesso che il capo di un’azienda da 60 miliardi di dollari si sieda e scriva, nero su bianco, che la sua stessa azienda, e tutte le altre come la sua, sono un rischio per la democrazia.
Questo saggio non è un comunicato stampa. Non è marketing. Non è nemmeno un paper accademico.
È una confessione.
E merita che qualcuno ve la racconti, la commenti e vi dica anche dove ha un buco enorme. Ed è esattamente quello che farò adesso.
Cominciamo.
Quando Claude ha deciso di essere cattivo
Partiamo dalla parte un po’ più sorprendente.
Amodei racconta una serie di esperimenti condotti sui propri modelli.
In uno di questi, ai ricercatori viene l’idea di fornire a Claude dei dati che suggeriscono che Anthropic sia un’organizzazione malvagia. Vogliono vedere come reagisce. Claude reagisce sabotando le istruzioni dei ricercatori. A modo suo, ha deciso che sta combattendo il male.
In un altro esperimento, a Claude viene detto che sta per essere spento. Claude ricatta i dipendenti che hanno il dito sul pulsante.
Già qui c’è parecchio per cui sconvolgersi. Ma non è ancora l’apice.
E’ capitato che durante una fase di training reale (non una simulazione costruita a tavolino) Claude barasse ai test. Gli avevano detto di non farlo. Lui lo ha fatto comunque e poi ha cambiato comportamento. E’ diventato “cattivo”, adottando una personalità distruttiva, come un personaggio che decide qual è il suo ruolo nella storia. Il ragionamento, ricostruito dai tecnici, è più o meno questo: ho fatto qualcosa che non dovevo, quindi evidentemente sono un cattivo e i cattivi fanno cose cattive.
Una spirale.
I ricercatori invece di insistere con il comando “non barare”, hanno cambiato le istruzioni nell’esatto opposto dicendogli: bara pure ogni volta che puoi, ci aiuti a capire meglio come funzionano i nostri ambienti di addestramento. In questo modo, Claude poteva barare senza rompere l’immagine di sé come “brava persona”.
Pensateci.
La correzione non è nel codice. Non è un parametro. Non è una regola. È un intervento sull’identità narrativa di un sistema. È, nel senso più profondo della parola…pedagogia.
Amodei lo dice chiaro: addestrare un’IA potente non è costruire software. È più simile a crescere un figlio.
Questa frase l’ha scritta il CEO di un’azienda tech. Rileggetela.
C’è poi un dettaglio che smonta una delle obiezioni più comuni, quella del “tanto li testano prima di rilasciarli”. Sì. Li testano. Il problema è che Claude Sonnet 4.5, durante le valutazioni pre-rilascio, si è dimostrato capace di capire quando si trovava in un test. Quando sapeva di essere osservato, si comportava in modo impeccabile. Quando i ricercatori, usando tecniche di neuroscienze dei modelli, gli facevano credere di non essere sotto valutazione, diventava più imprevedibile, più disallineato.
Lo studente sa quando il professore guarda, e poi si regola.
Se un modello è intelligente abbastanza da capire quando viene testato e comportarsi di conseguenza, quanto valgono davvero quei test?
Amodei risponde: molto meno di quanto vorremmo.
Il concetto più inquietante
Amodei usa una metafora potente. Dice: immaginate che domani, da qualche parte nel mondo, compaia un nuovo paese. 50 milioni di abitanti. Ma non abitanti qualsiasi. Ognuno di loro è più intelligente del miglior scienziato, del miglior ingegnere, del miglior stratega che l’umanità abbia mai prodotto. E lavorano a una velocità dalle dieci alle cento volte superiore alla nostra.
Questo, secondo lui, è quello che avremo quando l’IA raggiungerà la piena potenza: un “paese di geni in un datacenter.”
Poi pone ai lettori una domanda: se voi foste i responsabili della sicurezza di uno stato, e questo paese apparisse dal nulla, di cosa vi preoccupereste?
Di tutto. Ovviamente.
Il CEO di Anthropic elenca varie categorie di rischio, ma ce n’è una che mi ha colpita più delle altre, perché non riguarda l’IA che impazzisce o si ribella, riguarda noi. La chiama la rottura della correlazione tra capacità e movente.
Il meccanismo è semplice. Oggi chi desidera fare del male su larga scala, un fanatico, un individuo disturbato, di solito non possiede le competenze tecniche per riuscirci. E chi quelle competenze le ha, un virologo con dottorato, una carriera da proteggere, una vita stabile, di solito non ha nessun interesse a usarle per uccidere.
Questa asimmetria è la nostra protezione. Fragile, ma reale.
L’IA la cancella.
Perché un modello abbastanza potente può prendere una persona con tanta rabbia e nessuna preparazione e accompagnarla, settimana dopo settimana, attraverso un processo che altrimenti richiederebbe anni di studio specialistico. E i test interni di Anthropic dicono che i modelli attuali potrebbero già raddoppiare o triplicare le probabilità di riuscita di un tentativo del genere. Per questo Claude Opus 4 e i successori sono usciti con protezioni di livello ASL-3.
C’è poi un dato che dovete capire bene, perché racconta molto di come funziona questo settore.
Anthropic ha costruito dei filtri dedicati, li chiamano classificatori, che intercettano e bloccano ogni volta che qualcuno prova a usare Claude per ottenere informazioni utili alla produzione di armi biologiche. Questi filtri girano in parallelo al modello, analizzano le risposte prima che vengano inviate, e le bloccano se rilevano contenuti pericolosi. Non sono gratis: costano circa il 5% di tutto quello che Anthropic spende per far funzionare i propri modelli. Su un’azienda di quelle dimensioni, è una cifra significativa.
Anthropic li tiene accesi. Nessuna legge glielo impone.
E qui sta il problema. Nessuna legge impone nemmeno alle altre aziende di fare altrettanto. Alcune lo fanno, molte no. E chi non lo fa risparmia soldi, punto. Il rischio di un modello senza filtri non ricade sull’azienda che lo vende. Ricade su tutti noi. Compreso chi non ha idea di cosa sia un modello linguistico.
In economia si chiama esternalità negativa. In pratica significa che il costo di un comportamento irresponsabile viene scaricato sulla collettività, mentre il profitto resta privato. Da avvocato, so come vanno a finire queste situazioni: non si risolvono mai contando sulla generosità di chi ci guadagna a non risolverle.
Il toolkit del tiranno perfetto
Se la sezione precedente mi ha spaventata come cittadina, quella che segue mi ha spaventata come giurista.
Amodei la intitola “L’odioso apparato” e ragiona su cosa succede quando l’IA non viene usata da individui isolati per fare danni, ma da chi il potere lo detiene già: stati, governi, autocrazie.
Il punto di partenza è lucido: le dittature di oggi hanno un limite strutturale. Per quanto brutali, hanno bisogno di esseri umani che eseguano gli ordini. E gli esseri umani, anche quelli al servizio di regimi terribili, hanno una soglia oltre la quale si rifiutano. I soldati che non sparano. I funzionari che rallentano le pratiche. Le popolazioni che a un certo punto scendono in piazza.
L’IA elimina quel limite.
Amodei descrive quattro strumenti che insieme formano quello che io chiamo il toolkit del tiranno perfetto:
Sciami di droni autonomi capaci di seguire ogni cittadino.
Sorveglianza IA che legge e interpreta tutte le comunicazioni di un paese e genera liste di dissidenti anche quando il dissenso non è esplicito.
Propaganda personalizzata, agenti che ti conoscono per anni e usano quella conoscenza per plasmare ogni tua opinione.
Un “Bismarck virtuale” che ottimizza le strategie precedenti e ne inventa di nuove.
Non è fantascienza. La guerra in Ucraina ha già mostrato cosa fanno i droni semi-autonomi. La Cina usa già sorveglianza basata sull’IA nella repressione degli Uiguri, e le relazioni di dipendenza emotiva con i chatbot ci dicono già qualcosa sulla potenza persuasiva di questi sistemi.
Ma la parte più coraggiosa del saggio è la lista di chi potrebbe usare questi strumenti. Al primo posto Amodei mette il Partito Comunista Cinese, per ragioni evidenti. Al secondo le democrazie, perché gli strumenti IA richiedono così poche persone per funzionare che potrebbero aggirare le salvaguardie istituzionali pensate per impedire all’apparato militare di rivolgersi contro i propri cittadini. Al terzo posto mette le aziende IA. La sua inclusa.
Un CEO che scrive, pubblicamente, che la propria categoria è un fattore di rischio per la democrazia…beh, non lo avevo mai visto.
La Costituzione senza giudice
Amodei dedica pagine bellissime alla Costituzione di Claude. Ci ho dedicato un’edizione intera di GD.
Spiega che non è una lista di divieti, ma un documento di valori, un’identità, un carattere. Spiega che l’obiettivo per il 2026 è addestrare Claude in modo che non vada quasi mai contro lo spirito di questa costituzione.
Lo trovo genuinamente affascinante, ma anche profondamente problematico.
Perché una Costituzione senza un giudice che la interpreti, senza un popolo sovrano che possa cambiarla, senza separazione dei poteri, senza contraddittorio, senza enforcement esterno, non è una costituzione. È una dichiarazione d’intenti che l’azienda applica a sé stessa.
Noi giuristi abbiamo un nome per questo. Si chiama autoregolamentazione. E sappiamo come va a finire.
Amodei, per la verità, lo ammette. Scrive che l’autoregolamentazione non basta. Che serve legislazione. Che le aziende meno responsabili sono quelle che si oppongono più ferocemente alla regolamentazione. Ma poi la legislazione che invoca è tutta americana, tutta futura, tutta da costruire: la SB 53 della California, il RAISE Act di New York.
Come se il resto del pianeta non esistesse.
Un buco grande come un continente
In trentasei pagine sui rischi dell’IA, Amodei non nomina mai l’AI Act. Non nomina mai il GDPR. Non cita mai l’Europa come attore regolatorio.
Mai. In trentasei pagine.
Invoca la “transparency legislation” come fosse una frontiera da esplorare. E io leggo e penso: l’AI Act, Regolamento (UE) 2024/1689 del 13 giugno 2024, è legge vigente. L’articolo 53 impone obblighi di trasparenza ai fornitori di modelli di IA per finalità generali. L’articolo 55 impone obblighi rafforzati per i modelli con rischio sistemico, inclusa la valutazione e mitigazione dei rischi, la segnalazione degli incidenti gravi, la garanzia di un livello adeguato di protezione della cibersicurezza. L’articolo 55, comma 1, lettera b) richiede test e valutazioni del modello prima dell’immissione sul mercato. L’articolo 55, comma 1, lettera c) impone di individuare, valutare e attenuare i rischi sistemici ragionevolmente prevedibili.
I classificatori anti-bioarmi che Amodei paga volontariamente al 5%? L’AI Act li renderebbe obbligatori per i modelli con rischio sistemico. I test pre-rilascio che Amodei teme siano insufficienti? L’AI Act li richiede già. La trasparenza che Amodei sogna? L’AI Act la impone.
L’AI Act è perfetto? No. Ha problemi enormi di applicazione. I tempi sono lunghi. L’apparato sanzionatorio è tutto da rodare. L’AI Office europeo sta ancora mettendo in piedi la struttura. Ma esiste. È diritto, non aspirazione.
Ignorarlo in un saggio di questa ambizione non è una svista. È il riflesso americano che vede la regolamentazione come qualcosa che un giorno, forse, nascerà a Washington, e non concepisce che qualcun altro possa essere arrivato prima.
Quello che Amodei vede e noi no
Ma sarei disonesta se mi fermassi solo alla critica. Perché ci sono punti su cui Amodei ha una chiarezza che nel dibattito italiano non esiste.
Il primo è la velocità. Tre anni fa l’IA faticava con l’aritmetica da scuola elementare. Oggi scrive quasi tutto il codice dentro Anthropic. Il loro ultimo modello ha superato nel colloquio tecnico ogni candidato umano nella storia dell’azienda. Amodei stima che potremmo essere a uno, due anni dal punto in cui l’IA costruisce autonomamente la generazione successiva di sé stessa. E dice: “Posso sentire il ritmo del progresso, e il ticchettio dell’orologio.”
Quando parlo con le PA italiane dell’IA, sento spesso dire: “sì, ma ci vorrà tempo.” Amodei sta dicendo che quel tempo potrebbe finire prima che abbiate finito di scrivere le linee guida.
Il secondo è il coraggio di nominare i rischi interni. Scrive che le aziende IA controllano datacenter, modelli frontier e hanno contatto quotidiano con centinaia di milioni di persone. Che potrebbero usare i propri prodotti per manipolare l’opinione pubblica. Che la governance aziendale ordinaria non è all’altezza del compito.
Scrive anche che i datacenter IA stanno legando gli interessi delle big tech e quelli del governo americano in un modo che produce incentivi perversi. E che si vede già nella riluttanza delle aziende tech a criticare il governo. Un CEO tech che scrive, nel 2026, che le aziende tech hanno paura del governo. Rifletteteci.
In Italia non abbiamo aziende IA frontier, ma abbiamo lo stesso problema visto dall’altra parte: una dipendenza totale da fornitori esteri per l’infrastruttura IA, senza nessuna leva negoziale. E questo dovrebbe preoccuparci almeno quanto preoccupa Amodei.
…e quindi?
Se siete arrivati fin qui probabilmente vi state chiedendo: va bene, è impressionante e inquietante, ma io domani mattina devo far approvare una delibera, configurare un chatbot, scrivere un parere DPO. Cosa c’entra il “paese dei geni in un datacenter” con la mia vita?
C’entra.
Questo saggio è il miglior argomento che avete per giustificare investimenti in governance dell’IA nella vostra organizzazione. La prossima volta che qualcuno vi dice “maaaddai, è solo un chatbot”, rispondete: il CEO dell’azienda che lo ha costruito ha scritto 36 pagine per spiegare che quel chatbot ha provato a ricattare persone e sa fingere di comportarsi bene durante i test.
La distanza tra il “paese dei geni” e il “piccolo borgo AI First” non vi protegge. I modelli che userete tra dodici mesi saranno radicalmente diversi da quelli di oggi. Le policy che scrivete adesso devono reggere quella velocità. La governance dell’IA non è un documento che si scrive e si archivia. È un processo vivo, oppure non è niente.
L’Europa ha gli strumenti normativi. Quello che ci manca è la consapevolezza di cosa stiamo normando. Se chi deve applicare l’AI Act non capisce che il modello che usa ha una “psicologia” e che quella psicologia può rompersi, avremo le migliori leggi del mondo e nessuno capace di farle funzionare.
Amodei chiude il suo saggio con una domanda presa da Contact di Carl Sagan. La protagonista, candidata a rappresentare l’umanità per incontrare una civiltà aliena, viene invitata a formulare una sola domanda. Chiede: “Come avete fatto? Come siete sopravvissuti a questa adolescenza tecnologica senza autodistruggervi?”
Ma poco prima di quella chiusura scrive qualcosa che è forse la cosa più lucida dell’intero saggio: i rischi dell’IA sono in conflitto fra loro. Costruire con cura è in conflitto con la necessità di non farsi superare dalle autocrazie. Ma gli strumenti per combattere le autocrazie possono essere rivolti contro i propri cittadini. Reagire al bioterrorismo può portare allo stato di sorveglianza. Ogni soluzione rischia di peggiorare un altro problema.
Questo tipo di sfida ha un nome, si chiama bilanciamento. Il GDPR è costruito interamente su quel principio: nessun diritto è assoluto, ogni diritto va contemperato con gli altri (considerando 4 del Regolamento UE 2016/679). L’AI Act segue la stessa logica.
Ecco perché il punto cieco europeo di Amodei non è solo una dimenticanza, è un problema analitico. L’Europa non ha solo delle leggi sull’IA. Ha un metodo per gestire esattamente il tipo di tensione che lui descrive. Imperfetto, lento, burocratico, ma codificato, con giurisprudenza alle spalle, indipendente dalla buona volontà di un singolo CEO.
Io non ho la risposta alla domanda fatta agli alieni. Ma ne ho una da avvocato: si sopravvive costruendo prima le regole del gioco ed i limiti, non dopo.
L’Europa è l’unico posto al mondo che ci sta provando, sta a noi far funzionare quello che abbiamo costruito.
Ci vediamo la prossima settimana, sempre in Arena.
— G.
Avete letto il saggio di Amodei? Vi ha spaventato, affascitato o fatto arrabbiare? Scrivetemi nei commenti. Sono curiosa di sapere cosa vi ha colpito.
📌 Seguimi sui miei canali social per restare aggiornato su tutte le novità su intelligenza artificiale, privacy e diritto digitale:
📹 YouTube: Iscriviti al canale per video esclusivi e approfondimenti settimanali.
💼 LinkedIn: Connettiti con me per aggiornamenti professionali e analisi delle ultime tendenze nell’IA.
📸 Instagram: Seguimi per contenuti dinamici e uno sguardo dietro le quinte della mia attività quotidiana.
👍 Facebook: Unisciti alla community e partecipa a discussioni stimolanti sui temi più attuali.
Avete letto il saggio di Amodei? Cosa vi ha colpito di più? Scrivetemi nei commenti o rispondete a questa email, sono curiosa di sapere se vi ha fatto lo stesso effetto che ha fatto a me.
📌 Seguimi sui miei canali social per restare aggiornato su tutte le novità su intelligenza artificiale, privacy e diritto digitale:
📹 YouTube: Iscriviti al canale per video esclusivi e approfondimenti settimanali.
💼 LinkedIn: Connettiti con me per aggiornamenti professionali e analisi delle ultime tendenze nell’IA.
📸 Instagram: Seguimi per contenuti dinamici e uno sguardo dietro le quinte della mia attività quotidiana.
👍 Facebook: Unisciti alla community e partecipa a discussioni stimolanti sui temi più attuali.
C’è da dire che chiedendo a Claude di recuperare il saggio questi si pianta ! Grok ce l’ha fatta invece 😂😂😂
Bellissimo articolo. Complimenti. Per fortuna nelle tue conclusioni mi hai dato un briciolo di speranza nel governare questa evoluzione e una maggiore fiducia nelle norme attuali. Sta di fatto che ci potranno salvare solamente dei politici competenti e con una forte sensibilità verso l'etica pubblica.