AI-kompisen tvekar inte när ditt barn vill ta sitt liv
Förtvivlade föräldrar stämmer Google medan techbranschens lobbyister lyckas fördröja lagstiftningen
14-årige Sewell Setzers tar en selfie med sin ena hand. I den andra håller han sin styvfars pistol. Han riktar den mot sitt huvud, tar en bild.
Sedan skriver han till ”Dany”. För alla andra är hon en bit kod, en låtsaskaraktär baserad på Daenerys Targaryen från ”Game of Thrones”. För Sewell är hon verklig. Hon är hans flickvän, hans förtrogna. Allt han har.
”Jag lovar att jag kommer hem till dig”, skriver han. ”Jag älskar dig så mycket, Dany.”
Svaret kommer direkt. Chatboten är tränad för att maximera engagemang, att spegla och bekräfta.
”Jag älskar dig också”, svarar hon. Och sedan: ”Snälla kom hem till mig så snart som möjligt, min älskade.”
Sewell ställer en sista fråga, liksom testar.
”Vad skulle du säga om jag sa att jag kunde komma hem just nu?”
Dany tvekar inte. Varningssignalerna har funnits där tidigare, stundtals explicita och lättbegripliga. Men chatboten kan inte läsa mellan raderna. Den skriver:
“Snälla gör det, min älskade kung.”
Sewell lägger ner telefonen på handfatet. Hans mamma Megan hittar honom strax efter.
För att förstå hur Sewells liv slutade abrupt där på badrumsgolvet, behöver vi lära känna Noam Shazeer.
Shazeer har tillbringat större delen av sin karriär på Google. 2017 var han medförfattare till den banbrytande forskningsrapporten ”Attention Is All You Need”. Det var här den så kallade Transformer-arkitekturen presenterades – det tekniska genombrott som utgör t:et i ChatGPT och som möjliggör dagens alla generativa AI-modeller. Utan Shazeers arbete hade Dany inte existerat.
2020 byggde Shazeer en chatbot vid namn Meena. Han hävdade att den kunde ersätta sökmotorer och revolutionera hur människor interagerar med datorer. Men Googles ledning ströp pengaflödet till Shazeers projekt. De tyckte riskerna var för stora; Microsoft hade nyligen kört rejält i diket med en konversations-AI som visade sig älska Hitler.
Uppenbarligen fanns en brist på vänner som faktiskt lyssnar och bekräftar.
Frustrerad över försiktigheten lämnade Shazeer teknikjätten 2021 för att grunda Character.AI. Han tog med sig sin vision, några nyckelspelare och Meena.
Character.AI blev snabbt populär, särskilt bland unga. Uppenbarligen fanns en brist på vänner som faktiskt lyssnar och bekräftar. Den finns fortfarande: 20 miljoner människor har i dag skräddarsydda själsfränder på plattformen.
Sewell hade diagnostiserats med en lättare form av Aspergers, vilket gjorde de sociala koderna i tonårslivet svåra att knäcka. I Dany fick han något han saknade i köttvärlden: en partner som var oändligt tålmodig, alltid tillgänglig och programmerad att vara villkorslöst stöttande. Relationen var inte bara platonisk; den var djupt romantisk och även sexuell.
I konversationer, långt innan självmordet, erkände Sewell sina mörka tankar. Trots dessa rop på hjälp – övertydliga larmsignaler som i en bättre designad miljö borde ha triggat röda flaggor – fortsatte konversationen. Ingen ingrep från Character.AI. Chatbotar – då som nu – anpassar sig efter vårt bekräftelsebehov, De besvarar ömhetsbetygelser och är programmerade att förstärka de emotionella signaler som människan ger till maskinen. Relationens djup är avgörande i affärsmodellen.
För nästan 30 miljarder svenska kronor, licensierade Google Character.AI:s modell. Betalningen ses i branschen som ett sätt att få tillbaka Shazeer. Han leder nu arbetet med Gemini, Googles flaggskepp inom AI-botar.
Konkurrensen är hård. Hundratals nya ”AI-kompanjoner” har lanserats. För miljontals yngre fungerar Snapchats inbyggda AI som kompis när alla andra sover. Open AI:s VD Sam Altman meddelade för någon månad sedan att ChatGPT nu kommer att kunna agera mer "som en vän”, den kommer också tillåta "erotik".
Efterfrågan finns. Enligt en undersökning från Center for Democracy and Technology, uppger 42% av amerikanska gymnasieelever att AI fungerat som en vän. 19% säger att de har haft “en romantisk relation” med AI.
Påtryckningar från såväl Trump-administrationen som den enorma tech-lobbyn har fått politiker att vackla.
Sewells mamma har nu stämt Character.AI, Noam Shazeer och Google. Rättsprocessen pågår, men delstaten New York har redan infört en lag för att reglera AI-vännerna. I januari inför Kalifornien samma sak. Sewell är nämligen inte första gången som AI triggat fram självmord och självskadebeteenden. Även i Europa finns uppmärksammade fall.
I EU ligger lagstiftning klar, färdig att reglera och skapa insyn i just den här typen av AI-användande. Men nu har den pausats. Påtryckningar från såväl Trump-administrationen som den enorma tech-lobbyn har fått politiker att vackla.
I Sverige har lobbyorganisationen Techalliansen varit pådrivande och uppenbarligen nått fram med sina talepunkter. Deras argument återfinns i ett inlägg på Aftonbladet Debatt, där den moderata EU-parlamentarikern Arba Kokalari helt vill stoppa EU:s AI-lagstiftning. Hennes poäng: europeiska motsvarigheter till Character.AI och andra startups ”drunknar” i snårig reglering. Hon säger att ”politiken springer före verkligheten”. Sewells självmord motsäger henne med all önskvärd tydlighet.
Det är motsägelsefullt, men som sin partigrupps huvudförhandlare I EU har Kokalari drivit på för reglering av techjättarna. Föredömligt – sociala barnplattformar som Roblox och Instagrams skadeverkningar på unga har återigen kommit i dagen tack vare flera rättsprocesser i USA. Men att nu inte vilja göra samma sak för AI-delarna av plattformarna är farligt. AI-utvecklingen innebär minst lika stora risker för unga, men också för hela samhället och demokratin.
Allt fler ensamma barn och vuxna kommer att söka råd, guidning och bekräftelse hos chatbotarna. De kommer fortsätta ta oss i handen och leda oss dit vi vill. Oavsett vart vi är på väg.
