Nytt søksmål mot Chatgpt – etter skoleskyting

Foreldrene til tolv år gamle Maya Gebala saksøker Openai som eier KI-en (prateroboten) Chatgpt. Maya ble skutt tre ganger av en skoleskyter. Hun lever, men er svært alvorlig skadet.

Openai stengte Chatgpt-kontoen til den kommende skoleskyteren i juni i fjor fordi samtalene var urovekkende. Men selskapet sa ikke ifra til politiet. Openai har uttalt til BBC at selskapet skal gå gjennom rutinene for å forhindre at noe slikt skjer på nytt. Selskapet skal også samarbeide med myndighetene for å forbedre rutinene.

Skoleskyteren var bare 18 år, men maktet å opprette en Chatgpt-konto 17 år gammel, selv om vilkårene sier at man må være 18 år eller at man må få foreldresamtykke fra 13 år.

Det er ingen alderskontroll for å opprette konto i Chatgpt. Skoleskyteren opprettet en ny konto etter at den første ble stengt.

Søksmålet sier at skoleskyteren samtalte med KI-en om ulike scenarier innen skyting. Tolv ansatte i Openai flagget samtalene med «indikerer umiddelbar risiko for alvorlig skade på andre», de anbefalte til sine ledere at politiet burde bli varslet. Men selskapet valgte å ikke varsle myndighetene. Disse påstandene står i søksmålet og er ikke behandlet av retten per nå.

Fra før er det søksmål fra foreldre rettet mot Openai fordi Chatgpt skal ha oppmuntret en tenåring til selvmord. Først etter selvmordet la Openai inn koder som skal gjøre at prateroboten holder seg til sine sikkerhetsinnstillinger også i lange samtaler. Det har vist seg at Chatgpt blir på et vis «sliten» av lange samtaler og da begynner programmet å svikte når det gjelder sikkerheten.

Med andre ord gjennomførte ikke Openai gode nok stresstester før tjenesten ble sluppet løs på publikum.

Søksmålet hevder i avnsitt 29 at Openai skyndte seg med å sende versjonen GPT-40 ut på markedet uten gode nok sikkerhetstester for å komme ut før oppdateringen til konkurrenten Google Gemini.

Openai har også fått kritikk for å være for slepphendt med sikkerheten og personvernet for å kunne inngå avtale med det amerikanske militæret. En av sjefene i Openai sluttet i jobben i protest. Hundrevis av ansatte i Openai har protestert mot at KI-ene skal kunne brukes til masseovervåking av amerikanere og at robotvåpen skal ta avgjørelser på egen hånd om å drepe.

Konkurrenten Claude (Anthropic) holdt fast på sine prinsipper, og er i fare for å miste avtalen med militæret og vil gå til søksmål mot Trump-administrasjonen. Men også Anthropic har blitt kritisert. Selskapet betalte 1,5 milliarder dollar i et forlik i fjor fordi selskapet hadde brukt piratkopierte bøker for å trene opp KI-en Claude.

Er KI sikkert nok for barn?

Skoleskytersaken viser for øvrig at Chatgpt er utstyrt med løpende monitorering av samtalene som folk har med KI-en, for å oppdage brukere i krise, for eksempel at en person i økende grad skriver om selvskading eller lignende. Dersom systemet automatisk oppdager noe slikt, sendes det et varsel til ansatte som kan ta en manuell vurdering.

Saken viser også indirekte at Openai tar vare på samtaler som selskapet finner urovekkende, selv om kontoen blir stengt. For søksmålet viser til hva skoleskyteren samtalte om.

Barnevakten har tidligere oppfordret til at skole-KI-er i Norge bør utstyres med barnefilter og at klassechat bør ha monitorering.

Når en kommune leier inn KI til elevene, forsvinner gjerne aldersgrensen i avtalen, og ansvaret flyttes over fra leverandøren til kommunen. Nå er det kommunen som setter aldersgrensen selv og som har ansvaret for øvrig. I noen norske skoler starter man med KI fra første trinn.

Som forelder kan du spørre din kommune om de lokale skolene har god nok sikkerhet knyttet til bruk av KI.

• Hvilke sikkerhetstiltak har skole-KI-ene?
• Har skole-KI-en et eget barnefilter? Eller er den kun utstyrt med leverandørens generelle etiske filter?
• Bør det være monitorering av elevenes bruk av skole-KI? Eller skal personvernet gå foran?
• Hvor raskt bør elevenes samtaler slettes? Er det enkelte samtaler som bør flagges som urovekkende og tas vare på for en manuell sjekk?
• Hvilken kompetanse har kommunen og lærerne når det gjelder barns sikkerhet ved bruk av KI?

Søksmålet fra familien til Maya Gebala  finner du her: OpenAI-soksmaal

Les også

• Barnevaktens startside om KI (lang artikkel)
• KI-tips til foreldre (kortere artikkel)
• Tips til foreldre om kunstig intelligens (enda kortere artikkel)

(Foto: Shutterstock / Camilo Concha.)