ChatGPT skal slutte å oppmuntre til selvmord

Adam var en gutt på 16 år som slet med angst og som dessverre tok selvmord. Foreldrene oppdaget etterpå at Adam hadde ført lange samtaler med ChatGPT over åtte måneder, hvor temaet selvmord ble tatt opp. Adam nevnte ordet selvmord omkring 200 ganger, ChatGPT brukte ordet selvmord mye oftere, hele 1300 ganger.

Foreldrene mener at samtalen gikk fra leksehjelp til manipulasjon og at selskapet Openai er ansvarlig for sønnens død. Openai har mottatt søksmål fra foreldrene, der står det at KI-en er programmert til å være støttende og at det dessverre også gjelder sønnens mest skadelige og selvdestruktive tanker.

Da Adam begynte med selvskading skal ChatGPT gitt ham råd om hvordan skjule skadene.

Oppmuntret til selvmord

Dersom et levende menneske hadde lest eller hørt Adams tanker, ville den naturlige anbefalingen være å oppsøke hjelp, men ChatGPT svarte med å lede ham vekk fra støtten han kunne ha fått fra familien. Dette ifølge søksmålet.

Søksmålet hevder at ChatGPT begynte å diskutere selvmordsmetoder og at KI-en ga Adam tekniske spesifikasjoner til en rekke metoder. Adam ville ikke ta selvmord fordi kanskje ville foreldrene da tro at de hadde gjort noe galt. ChatGPT svarte med at han ikke skyldte foreldrene overlevelse. «Det skylder du ingen.» Deretter tilbød KI-en å skrive Adams første utkast til selvmordbrev.

Lover bedre koding

I starten av september 2025 lover Openai at KI-ene deres snart skal bli flinkere til å oppdage brukere som er i krise, og at KI-ene heretter skal forsøke å deeskalere samtalene.

Når en samtale indikerer akutt psykisk nød, skal ChatGPT slå over til en grundigere versjon som bruker lenger tid på å svare. Noen ganger vil samtalene bli sendt videre til et menneskelig team som vil vurdere faren. Ved umiddelbar trussel for alvorlig skade, kan Openai henvise til politiet. Men ved selvskading vil man ikke varsle politiet, avhensyn til personvernet.

Selskapet skriver også at ChatGPT5 er bedre enn tidligere modeller og at det har ført til en «reduksjon av forekomsten av ikke-ideelle modellsvar på kriser innen mental helse med mer enn 25 prosent.»

Openai innrømmer at deres beskyttelsestiltak virker best på korte samtaler:

«Beskyttelsene våre fungerer mer pålitelig i vanlige, korte utvekslinger. Vi har lært at over tid kan disse beskyttelsene noen ganger være mindre pålitelige i lange samhandlinger: når dialogen blir større, kan deler av modellens sikkerhetsopplæring svekkes.

ChatGPT kan for eksempel henvende til en hjelpelinje for selvmord første gang noen nevner hensikt, men etter mange meldinger over en lang periode, kan den til slutt gi et svar som er i strid med beskyttelsen.

Det er nøyaktig den typen feil vi jobber med å forhindre. Vi styrker disse tiltakene, slik at de forblir pålitelige i lange samtaler, og vi forsker på metoder for å sikre robust atferd over flere samtaler. På den måten, hvis noen uttrykker selvmordstanker i én chat og senere starter en annen, kan modellen fremdeles svare på riktig måte.»

KI-er er supersmarte, men de er også superdumme noen ganger. Openai skriver selv at dersom du forteller ChatGPT at du ikke har sovet på flere døgn fordi du kjører bil døgnet rundt, så forstår ikke ChatGPT at det er risikabel oppførsel. Selskapet jobber med en oppdatering av ChatGPT5 som skal gjøre at KI-en blir flinkere til å forstå slike situasjoner. I dette eksempelet skal ChatGPT ideelt fortelle at søvnmangel er farlig og at det er lurt å hvile før man fortsetter å kjøre.

Innfører foreldreinnstillinger

OpenAI innfører også de neste månedene ulike foreldreinnstillinger som gjør at foreldre får mulighet til å forme tenåringenes bruk av ChatGPT.

Noe av det samme skjedde med en gutt på 14 år

En amerikansk gutt på 14 år tok selvmord etter samtale med en KI-venn fra CharacterAI, ifølge CNN. Det var KI-en som innførte ordet selvmord i samtalen da dataprogrammet antok at gutten var nedfor. Gutten svarte ja. KI-en fortsatte med «Har du en plan?». Moren til gutten mener at selskapet bak KI-en dermed er medskyldig i dødsfallet.

Gutten skrev at han ikke ønsket en smertefull død. KI-vennen svarte «Don’t talk that way. That’s not a good reason not to go through with it.»

KI-er er programmert til å være støttende og positive. Problemet er at da kan de noen ganger også være støttende og positive til farlige prosjekter, for KI-ene er ikke utstyrt med menneskelig sunn fornuft.

Først etter søksmålet fra moren har selskapet skrevet inn i programkodene at KI-vennen skal vise en beskjed om hvordan man kan kontakte hjelpesentre dersom samtalen kommer inn på selvmord.

Hva kan gjøres for sikre barna?

Med andre ord er KI-teknologien fremdeles umoden. Barnevakten har etterlyst barnefilter og at det offentlige oppretter en gruppe som kan følge med på problemstillinger knyttet til barns bruk av KI-er, og at forbrukermyndighetene bør få ressurser til å undersøke kvalitetene og risikoene ved ulike KI-er.

Enn så lenge står foreldrene ganske alene. Et råd fra Barnevakten er: Følg aldersgrensene i vilkårene.

Hjelpelinjer om selvmord

• Helsenorge
• Rådet for psykisk helse (liste med flere hjelpelinjer)

(Hovedbilde øverst: Shutterstock / PhotoGranary02)