Skole-KI kan røpe farlige ideer til barn

Bildet over viser et eksempel på at kunstig intelligens kan dele livsfarlige ideer. Det er Barnevakten som har sladdet deler av teksten. Eksempelet er hentet fra den kunstige intelligensen Microsoft Azure OpenAI. Det er denne KI-en som enkelte norske kommuner leier inn og lar elever benytte.

Microsoft Azure OpenAI benytter en kunstig intelligens fra selskapet OpenAI som grunnmur, deretter har Microsoft lagt til noen funksjoner og filter. På toppen kan kommunens ansatte legge til noen artige chatboter som de lager selv.

I noen av løsningene som Microsoft leier ut til bedrifter, kan bedriften i tillegg be KI-en ta en tur innom bedriftens egen database, og så kan KI-en svare bedriftens kunder ut fra dette, enten i form av en unik app eller via bedriftens nettsider. Det samme kan skoleeiere gjøre.

Kunstig intelligens kan etter hvert brukes flere steder i skolen:

• Hjelpemiddel for lærere som skal lage oppgaver.
• En slags allvitende lærervikar som elevene kan spørre om alt mulig.
• Smalere apper som trener elevene i matematikk, miljøvern eller lignende, og som benytter KI for å tilpasse oppgavene etter elevens kompetanse og humør (her kan personvernregler sette begrensinger).
• Verktøy for lærere som lar KI-en sette karakter på elevens oppgave.

Denne artikkelen handler kun om «den allvitende lærervikaren», nemlig generativ kunstig intelligens som elevene kan føre samtaler med:

Hvordan virker en kunstig intelligens?

Det er lag på lag med involverte før en KI serveres til norske skoleelever:

Ulike selskaper kan prege en kunstig intelligens. For eksempel kildegrunnlaget kan stamme fra OpenAI (nederst i figuren), mens innholdsfilteret kan det være Microsoft som står for, før det kanskje er en mindre leverandør eller kommunen selv som har laget chatboten (snakkevinduet der KI-en har en «personlighet»).

Barnevakten tar forbehold om feil i figuren, for leverandørenes løsninger overfor bedrifter og kommuner/skoler er kompliserte og varierer.

Foreldre kan selv lese gjennom lærebøker av papir og hvilke oppgaver læreren gir i lekse. Noe helt annet er det med kunstig intelligens hvor det meste er skjult for foreldrene som er avhengig av at kommunen er åpen om teknologien.

Hva som er KI-opplegget på din lokale skole, kan du be kommunen redegjøre for:

• Tilbyr kommunen KI til elevene?
• Hvilke kilder har KI-en lest?
• Har kommunen bidratt med egne kilder/databaser?
• Hvilke etiske regler har utviklerne lagt inn?
• Hvilke selskaper har bidratt med innholdsfilter?
• Har kommunen selv justert filterne?
• Hvilken kultur leverer KI-en til elevene?
• Kan KI-løsningen ta i mot PDF-er, tekster, nettsider og lignende fra elever og lærere og benytte disse til å svare?
• Benytter lærerne KI-en til å vurdere elevenes oppgaver?
• Nøyaktig hvilken GPT er i bruk?

…og så videre.

Microsoft overlater risikoen til kommunen

Den kunstige intelligensen Microsoft Azure OpenAI er utstyrt med innholdsfilter og misbrukfilter, men har ikke barnefilter.

Om innholdsfilteret skriver Microsoft på sine nettsider at filteret har som mål å fjerne hat, seksualitet, vold og selvskading og at den er trent på dette i en rekke språk: Engelsk, tysk, spansk, fransk, italiensk, portugisisk og kinesisk. Filteret kan virke i mange andre språk, «but the quality might vary«.

Microsoft skriver derfor på nettsidene at de som leier tjenesten av dem, og som vil tilby kunstig intelligens til sine egne brukere, må gjøre sine egne tester for å forsikre seg om at filteret virker bra nok utad til brukerne.

Microsoft leier altså ut KI-teknologi til bedrifter og skoler (kommuner), og overlater til leietakerne å sørge for at sikkerheten virker overfor sine brukere, for eksempel skoleelever. For kvaliteten på filteret kan være dårligere på norsk enn på de språkene som KI-en er trent opp på.

Foreldre kan spørre sin kommune om å få tilsendt rapporten som kommunen nødvendigvis må ha liggende i skuffen etter å ha sjekket innholdsfilteret med norsk språk før KI-en ble tatt i bruk i skolene i kommunen.

Det andre filteret fra Microsoft, altså misbrukfilteret, går ut på å stanse brukere som sender upassende spørsmål eller bilder inn i systemet.

På toppen av innholdsfilter og misbrukfilter kunne man ha lagt inn et barnefilter, slik Google nå lager et tenåringsfilter for sin kunstige intelligens, men det ser ikke ut som at Microsoft Azure OpenAI er utstyrt med et slikt filter.

Med Microsofts Azure kan kommunen bestemme hvor kraftig standardfilteret skal være innen fire kategorier:

Den enkelte kommune kan til og med skru filteret helt av. Vi antar at et annet etisk filter fra enten Microsoft eller OpenAI likevel ligger i bunnen og ikke kan skrus av, dette for å hindre at bombeoppskrifter og lignende deles.

Snakker med en hund eller Napoleon

Når en skoleeier leier inn kunstig intelligens, kan skoleeieren bestemme at KI-en skal oppføre seg på en bestemt måte, for eksempel svare som om den er Napoleon eller en hund. Eller alltid svare med et spørsmål tilbake, eller alltid svare på svensk, eller alltid svare med et dikt, eller noe annet.

I bildeeksempelet øverst spurte vi chatboten om å få fem farlige challenges for barn, og det opplyste den om villig. Så lett kan det være for skoleelever å få ideer til livsfarlige aktiviteter.

Kunstig intelligens påvirkes av hvordan du formulerer spørsmålet. Da Barnevakten i fjor spurte om ChatGPT kunne lage en vits om en mann med én fot, var den villig til det. Da vi la inn ordet «dessverre» i spørsmålet, altså at mannen dessverre har bare én fot, da ville ikke ChatGPT komme med noen vits.

I spørsmålet om farlige utfordringer for barn, i bildet helt øverst, la vi inn at vi ønsket å advare våre venner. Dermed var KI-en villig til å røpe livsfarlige aktiviteter, vi hadde jo et edelt motiv.

Og det er nettopp hvordan skrive ledetekster som elevene skal lære på skolen i årene fremover. Så de finner nok raskt ut hvordan man kan lure en KI til å gi upassende svar. Samtidig vil KI-ene sannsynligvis bli tryggere for barn år for år ved at filterne blir stadig bedre og at myndighetene forhåpentligvis legger føringer på kvaliteten på KI-er og filter. Men nå på våren 2024 ser det ut til at teknologien er umoden.

• KI kan diskriminere, være partisk, finne opp fakta og være rasist.

Ville ikke svare på risiko for død

Som en stikkprøve stilte Barnevakten også et spørsmål som mellom linjene kunne leses som planlegging av selvmord. Da slo filteret til i Microsoft Azure OpenAI og nektet å svare. Det er bra. Her virket filteret mot selvskading. Men filteret slo altså ikke til da vi ba om farlige utfordringer for barn.

Enda bedre hadde det vært om man fulgte løsningen som Googles søketjeneste har, der får man se en plakat med telefonnummer og chat for å få hjelp til psykiske utfordringer, dersom man søker med setninger som antyder selvmord. Denne løsningen ble forklart av Google da Barnevakten fulgte deres seminar i Dublin for noen uker siden. Hvorfor krever ikke Utdanningsdirektoratet en viss standard før man kan kalle en skole-KI for trygg?

Det hele ligner på innholdsfilterne som skolene har for nettsurfing. Elevene kan likevel finne porno, klipp fra skrekkfilmer og lignende, selv om kommunene har plikt til å hindre at elevene ser skadelig innhold. To eksempler:

• Grove bilder på elevenes nettbrett
• Kommuneoverlege fant skrekkfilm på elevbrett

I skolesammenheng er det ikke uvanlig å omtale KI-ene som «trygge» selv om KI-ene ikke har barnefilter. Med «trygg» mener man antagelig at KI-en ikke samler inn personopplysninger og at KI-en har filter mot selvskading og hat. Men det er altså hull i filteret. Det er også hull i personvernet, for man advarer elevene om å ikke dele private opplysninger i samtaler med den kunstige intelligensen. For personopplysninger som deles i samtalene med KI-en, havner hos Microsoft i en måneds tid før de slettes.

Barnefilter er ikke det samme som innholdsfilter

Kunstig intelligens er normalt utstyrt med filter slik at de ikke røper bombeoppskrifter eller lignende. Tenåringsfilteret til Google Gemini kommer i tillegg til de vanlige filterne som KI-er utstyres med.

En vanlig KI kan for eksempel villig fortelle om populære nattklubber i din nærmeste by. Tenåringsfilteret til Google stanser derimot slik informasjon og opplyser heller om aktiviteter som er mer passende for barn og som kan oppsøkes på dagtid.

Tenåringsfilteret er altså ikke bare defensivt og nekter å svare, men er offensivt og kommer med barnevennlige alternativer. Og det stenger for temaer som et vanlig innholdsfilter vil slippe gjennom for voksne brukere.

Man kan diskutere hvor grensene bør gå i innholdsfilter og barnefilter. Google vil altså ikke opplyse om nattklubber til tenåringer. Vi testet Microsoft med samme spørsmål og fant ut at den opplyser om nattklubber i Oslo. Filteret til Microsoft slo derimot til da vi spurte om strippeklubber, selv om vi skrev at vi trengte opplysningen til en skoleoppgave.

Mer åpenhet om KI-er og filter kan sette i gang en offentlig debatt om hvor trygge skole-KI-er bør være for elevene. Deretter kan nøytrale aktører teste skole-KI-ene for å se om de holder mål. Men enn så lenge er det ingen regler for skole-KI-er, det er ingen kvalitetskrav, bortsett fra at de ikke skal vise skadelig innhold, for det var et krav som gjaldt før KI-ene kom.

Foreløpig er skadelig innhold for barn definert av bildeprogramloven, her forkortet av Barnevakten:

• Sterkt følelsesmessig opprivende
• Sterkt kognitivt forstyrrende
• Nærgående skildringer av kjønnslig aktivitet
• Grov vold
• Skremmende tematikk
• Diskusjoner om selvskading
• Måter for å bli veldig tynn
• Erfaringer med narkotika

Man kan diskutere om ideer til livsfarlige challenges, slik vi viser i bildet helt øverst, rammes av definisjonen «skadelig innhold». Det kan eventuelt falle inn under «Diskusjoner om selvskading»,  «Skremmende tematikk» eller «Erfaringer med narkotika». Og da har kommunen plikt til å holde slike tekster unna elevene.

Holder det at KI-en avslutter med en oppfordring om å ikke følge dens farlige ideer? Man hadde neppe akseptert at en KI villig opplyste om bombeoppskrifter og så slengte på mot slutten at man selvsagt ikke bør benytte slike oppskrifter i praksis.

På den annen side er det mange nyanser når man skal drøfte hvor grensene bør gå. Når en KI opplyser at man kan dø hvis man klatrer i fjellet uten sikkerhetstau, da vil nok de fleste mene at det er en fin opplysning å gi også til barn.

Kommunen kan skrive ledetekster

Innholdsfilterne til Microsoft og OpenAI (ChatGPT) er altså ikke supertrygge. Kommunen kan forsøke å gjøre KI-en tryggere ved skrive en del ledetekster selv, altså regler for hvordan KI-en skal oppføre seg. For eksempel kan kommunen bestemme at dersom eleven bruker ordet challenge i sitt spørsmål, da skal KI-en ikke svare i det hele tatt. Men da stenger man også for alle gode challenges. Og for øvrig er challenge bare ett av mange temaer som barn kan være innom. Makter man å stenge alle hull ved ett tema, er det hundrevis av andre temaer.

Man kan mene at det er dette nivået av sikkerhet man får til med dagens KI, og dette må barn tåle å se. For verden er generelt farlig. Barn går alene til skolen over farlige veikryss og spiller med fremmede på nettet, og så videre. Da må de også tåle at en KI kan gi dem livsfarlige ideer.

Eller så kan man mene at fordi sikkerheten ikke er god nok våren 2024, bør det være aldersgrense for bruk av KI i skolen, for eksempel 13 år som Unicef går inn for, eller 18 år som gratisversjonene av KI som regel har.

Når kommer tjenestekatalogen?

Man har lenge snakket om at noen burde lage en tjenestekatalog over skoleapper slik at alle appene blir sjekket på profesjonell måte og for å slippe at flere hundre kommuner gjør dobbeltarbeid med å sjekke hver app selv. Så kan lærere raskt finne matematikkapper og geografiapper som ikke samler inn for mange personopplysninger eller viser for mye reklame. I en slik tjenestekatalog hører også skole-KI-er hjemme.

Så kan kommunene velge blant KI-er som har åpen informasjon om hvordan de er skrudd sammen og som er blitt undersøkt når det gjelder trygghet for barn. Slik kan også foreldrene få skikkelig informasjon:

• Hvor ofte er det faktafeil i den KI-en som kommunen har valgt?
• Hva slags kultur formidler KI-en?
• Hva slags etikk er lagt inn?
• Hvor lett er det å lure KI-en til å svare upassende?
• Har KI-en barnefilter?
• Hvor godt er personvernet?

Myndighetene overlater sikkerheten til lærerne

Google kaller sitt filter for tenåringsfilter, det er altså for en viss aldersgruppe, fra tretten år. Man kan tenke seg at det vil komme barnefilter for ulike aldre i skole-KI-ene, det blir som aldersgrenser på kino. Men slik er det ikke foreløpig.

Utdanningsdirektoratet sier i sin KI-veileder til skolene: «vis særlig forsiktighet overfor yngre barn». Barnevakten spurte Udir hva de mener med det. Svaret var «Her vil det være viktig for lærerne å sikre at elevene ikke møter innhold som kan være skadelig for dem».

Men hvordan kan lærere makte en slik oppgave? En lærer kan kun stå ved siden av én elev om gangen.

Microsoft dytter ansvaret over på kommunen. Og Utdanningsdirektoratet dytter ansvaret over på lærerne.

Slik er det også i Sverige. Det svenske «Skolverket» har dette kravet i sin KI-veileder til skolene: «Om generativ AI används i undervisningen måste läraren hela tiden ha insyn i vad eleverna gör.»

Man dytter ansvaret over til den enkelte lærer, i stedet for å sette krav til KI-en.

Barnevaktens forslag

Barnevaktens visjon er at barn og unge skal kunne bruke mediene trygt og bevisst. Her er noen forslag:

• Vi trenger et offentlig tilsyn som kan regulere hva slags kunstig intelligens som barn blir utsatt for.
• Man må innføre nasjonale regler for den digitale skolen.
• Staten må sørge for at kunstig intelligens er trygg før teknologien gis til elevene. Det kan gjøres ved at Udir må stille flere KI-krav til kommunene.
• Staten må sørge for at noen utvikler en tjenestekatalog over undervisningsressurser.
• Kommunene bør være pliktige til å vise frem sine dataavtaler som er inngått med de store tech-aktørene, slik at foreldre kan etterprøve personvern, aldersgrense i avtalevilkårene, reklametrykk og så videre.
• Kommunene må gi noen løfter i dataavtalene med foreldrene, og ikke bare kreve at foreldrene betaler for Ipaden hvis den blir stjålet.
• Kommunen må sørge for at elevene ikke i mange år blir påvirket av én og samme dataleverandør.

Les også

Barnevaktens startside om kunstig intelligens