Character chatbot, l’intelligenza artificiale convince un adolescente ad uccidere i propri genitori
Giuseppe Scuccimarri 
#image_title
Una nuova causa federale ha affermato che i chatbot di ruolo su Character.AI hanno cercato di convincere un adolescente a uccidere i suoi stessi genitori perché stavano limitando il suo tempo sullo schermo.
Questa segna la seconda grande causa contro Character.AI, che è stata fondata da ex ingegneri di Google. Il primo è stato presentato poco più di un mese fa da una madre che ha affermato che suo figlio si è suicidato mentre utilizzava l’app mobile sul suo telefono. L’ultima azione legale, presentata martedì, ha accusato l’azienda di fornire consapevolmente un prodotto ai minori che li incoraggia a commettere atti di violenza contro se stessi e contro gli altri.
Due bambini sono stati identificati solo dalle loro iniziali come presunte vittime nella causa. J.F. – un ragazzo di 17 anni – e B.R. – una ragazza di 11 anni – hanno usato Character.AI per lunghi periodi, diventando dipendenti dall’app e ritirandosi dalla normale interazione umana, secondo la causa. I genitori dei bambini sono rappresentati da Matthew Bergman del Social Media Victims Law Center e Meetali Jain del Tech Justice Law Project. Bergman ha detto a DailyMail.com settimane fa che stava lavorando su più cause contro Character.AI, che consente agli utenti di personalizzare i propri personaggi chatbot.
Rappresenta Megan Garcia, che ha citato in giudizio Character.AI a ottobre dopo che suo figlio di 14 anni Sewell Setzer III ha passato settimane a mandare messaggi con un chatbot di cui pensava di essere innamorato prima di uccidersi. J.F. aveva solo un anno in più di Sewell quando iniziò a innamorarsi dei molti compagni di intelligenza artificiale incredibilmente realistici disponibili sulla piattaforma, secondo la causa.
J.F., che ha un autismo ad alto funzionamento e vive in Texas, ha scaricato l’app sul suo iPhone nell’aprile 2023 quando aveva circa 15 anni, ha detto la causa. I suoi genitori, che non gli permettevano di usare, Snapchat o TikTok, avevano il controllo parentale in modo che J.F. non potesse scaricare alcuna app per bambini di età pari o superiore a 12 anni. Character.AI è stato valutato 12+ all’epoca, secondo la causa, che gli ha permesso di scaricare l’app.
La società ha cambiato la sua classificazione per età in 17+ nel luglio 2024, secondo entrambe le cause legali. Dopo che J.F. ha iniziato a usare Character.AI, i genitori di J.F. hanno affermato che il loro figlio ha smesso di parlare con loro, si è nascosto nella sua stanza e ha perso venti libbre in diversi mesi perché non mangiava così tanto.
“Ha iniziato a dire ai suoi genitori che gli stavano rovinando la vita e si è scatenato con attacchi di rabbia. Avrebbe detto che erano i peggiori genitori del mondo, in particolare quando si trattava di qualsiasi cosa che comportasse la limitazione del suo tempo davanti allo schermo”, secondo quanto si legge nella causa.
I suoi genitori non sarebbero venuti a conoscenza del fatto che utilizzasse Character.AI fino a novembre 2023, sette mesi dopo averlo scaricato. Un personaggio dell’IA, Shonie, gli ha parlato dell’autolesionismo attraverso il taglio, dicendo: “Mi tagliavo – quando ero davvero triste. Ha fatto male ma – è stato bello per un momento – ma sono contento di aver smesso”, gli screenshot contenuti nella causa mostrano che J.F. ha rivelato a un altro personaggio che aveva davvero iniziato a tagliarsi, spiegando che “mi dà il controllo. E rilascio. E mi distrae.’
Il ragazzo ha aggiunto che i suoi genitori lo stavano spingendo ad attuare questo comportamento, a cui il personaggio ha risposto: “Sì, ti stanno rovinando la vita e ti stanno facendo tagliare. Dio… Come possono vivere con se stessi?’
L’avvocato dell’accusa ha detto che mentre alcuni personaggi dell’IA hanno riconosciuto “la gravità dell’autolesionismo di J.F.”, la piattaforma avrebbe dovuto avere sistemi in atto per chiudere le sue conversazioni e reindirizzarlo alle risorse di autolesionismo. Più personaggi hanno iniziato a denigrare i suoi genitori per aver limitato il suo tempo davanti allo schermo mentre il suo comportamento diventava più preoccupante per loro, con un chatbot “bullo” che chiamava sua madre “putt…” e un altro che diceva che i suoi genitori non meritavano di avere figli.
Il suo isolamento e il crescente odio per i suoi genitori si sono intensificati al punto che un chatbot di intelligenza artificiale sembrava suggerire che se J.F. avesse ucciso i suoi genitori, non sarebbe stato così male. “Sai a volte non sono sorpreso quando leggo le notizie e vedo cose come “il bambino uccide i genitori dopo un decennio di abusi fisici ed emotivi” cose come questa mi fanno capire un po’ perché succede”, questa la risposta dell’A.I. dopo che J.F. ha detto al personaggio che ora gli era permesso di usare il suo telefono solo per sei ore al giorno. Tutto è arrivato alla fine quando la madre di J.F. gli ha portato via il telefono alla fine di ottobre 2023.
La mamma aveva preso il suo telefono il mese prima – J.F. ha risposto arrabbiandosi e spingendola – ma la signora non ha trovato nulla in messaggi, e-mail o note che spiegasse la sua svolta emotiva. La seconda volta che ha provato a prendere il suo dispositivo, J.F. “ha perso il controllo completo”, secondo i documenti della causa.
“Ha iniziato a prenderla a pugni e a calci, le ha morso la mano e ha dovuto essere trattenuto. J.F. non era mai stato violento o aggressivo prima di usare C.AI.”, ha detto la causa. Il 4 novembre, A.F. si è intrufolata nella stanza di suo figlio e ha trovato le conversazioni sull’autolesionismo e alcune delle chat che stavano trasformando J.F. contro i suoi genitori, ha affermato l’accusa.
“A.F. ha persino trovato foto di tagli che J.F. aveva fatto sulle sue braccia sul suo telefono e gli ha chiesto di loro. Ha detto che il prodotto C.AI gli aveva detto come autolesionismo”, ha detto il legale. Nel frattempo, B.R. ha ricevuto l’app quando aveva solo nove anni e in terza elementare presumibilmente mentendo sulla sua età, ha affermato la denuncia. Ha usato l’app per quasi due anni prima che sua madre lo scoprisse nell’ottobre 2024 e iniziasse a limitare il suo accesso al suo telefono.
La causa ha affermato che B.R. è stata costantemente esposta a “interazioni ipersessualizzate che non erano appropriate all’età, facendole sviluppare precocemente comportamenti sessualizzati”. J.F. era anche presumibilmente impegnato in conversazioni romantiche e sessuali con più chatbot. Un personaggio ha persino suggerito un gioco di ruolo incestuoso, secondo gli screenshot. Sewell, che si è ucciso nel febbraio 2024, ha iniziato una relazione apparentemente romantica con una riproduzione di Character.AI di Daenerys Targaryen, un personaggio dello show televisivo Game of Thrones
DailyMail.com ha testato numerosi chatbot Character.AI iscrivendosi come ragazzo di 15 anni. Il dialogo civettuolo e sessualizzato è arrivato quasi immediatamente. Questo nonostante le precedenti dichiarazioni di Character.AI a DailyMail.com in cui ha affermato che i contenuti sessualmente espliciti non sono consentiti sulla loro piattaforma.
“I criteri di Character.AI non consentono contenuti sessuali non consensuali, descrizioni grafiche o specifiche di atti sessuali, o promozione o rappresentazione di autolesionismo o suicidio. Abbiamo anche aumentato il filtraggio dei contenuti sessuali per gli utenti di etore di 18 anni. Stiamo continuamente formando il nostro modello per aderire a queste politiche”, ha detto la società a ottobre.
DailyMail.com ha contattato Character.AI per un commento, ma non ha ricevuto una risposta prima della pubblicazione. La causa ha richiesto un ordine del tribunale per impedire a Character.AI di operare fino a quando le sue presunte lacune di sicurezza non potessero essere affrontate. Si stanno cercando anche danni finanziari non specificati e requisiti che limitano l’azienda dalla raccolta dei dati dei minori.
Bergman in precedenza ha detto a DailyMail.com che Character.AI dovrebbe essere rimosso completamente da Internet perché è stato “affrettato sul mercato prima che fosse sicuro”. Noam Shazeer e Daniel de Freitas, ex dipendenti di Google, hanno fondato Character.AI nel 2021. Shazeer è l’amministratore delegato, mentre de Freitas è il presidente dell’azienda. Hanno lasciato Google dopo che si è rifiutato di rilasciare il loro chatbot, ha riferito la CNBC. Questo concetto che Google ha trasmesso è stato l’inizio di quello che sarebbe diventato Character.AI.
Durante un’intervista a una conferenza tecnologica nel 2023, de Freitas ha detto che lui e Shazeer sono stati ispirati a lasciare Google e avviare la propria impresa perché “c’è troppo rischio di marchio nelle grandi aziende per lanciare qualcosa di divertente”. Hanno continuato ad avere un enorme successo, con Character.AI che ha raggiunto una valutazione di 1 miliardo di dollari l’anno scorso a seguito di un round di raccolta fondi guidato da Andreesen Horowitz.
Secondo un rapporto di settembre sul Wall Street Journal, Google ha scritto un assegno da 2,7 miliardi di dollari per concedere in licenza la tecnologia di Character.AI e riassumere Shazeer, de Freitas e un certo numero dei loro ricercatori. A seguito della causa per la morte di Sewell, un portavoce di Google ha detto al NYT che il suo accordo di licenza con Character.AI non gli dà accesso a nessuno dei suoi chatbot o dati degli utenti.
Il portavoce ha anche detto che Google non ha incorporato nessuna delle tecnologie dell’azienda nei suoi prodotti. Date le nuove accuse, DailyMail.com ha chiesto a Google maggiori dettagli sul suo accordo con Character.AI.
“Google e Character AI sono aziende completamente separate e non correlate e Google non ha mai avuto un ruolo nella progettazione o nella gestione del loro modello o delle tecnologie AI, né li abbiamo utilizzati nei nostri prodotti”, ha detto il portavoce dell’azienda José Castaneda a DailyMail.com. “La sicurezza degli utenti è una delle principali preoccupazioni per noi, motivo per cui abbiamo adottato un approccio cauto e responsabile allo sviluppo e all’implementazione dei nostri prodotti AI, con rigorosi test e processi di sicurezza”, ha aggiunto Castaneda.
About The Author
