Ny teknologi klar for å beskytte barn mot nettovergrep

Nettovergrep er et omfattende problem der voksne tar kontakt med barn. Kripos skriver for eksempel på egen faktaside:

«Stadig flere barn blir utsatt for voldtekt eller andre seksuelle overgrep via internett, av personer de tror de kjenner. Gjerningspersonene utgir seg ofte for å være en annen enn den de er, og er således i stand til å manipulere barnet inn i en seksuell relasjon der de for eksempel får barnet til å begå seksuelle handlinger med seg selv foran et web-kamera.»

Utfordringen er at overgripere dukker opp nettopp på de plattformene barna befinner seg på, ifølge en rapport fra Kripos.

Så enten barna er på Roblox, Tiktok, Fortnite eller en annen plattform – er det en viss fare for at barn blir kontaktet av overgripere.

Men nå er teknologien klar for å gi barn bedre beskyttelse mot overgripere. Og utviklingen har foregått her til lands ved Norges teknisk-naturvitenskapelige universitet.

En «datamaskin» kan varsle app- og spillplattformen om nettovergrep

Det er professor Patrick Bours og forretningsutvikler Hege Tokerud ved Technology Transfer i Gjøvik som står bak den banebrytende teknologien.

– Tidligere har mye av vaktholdet bestått av menneskelige moderatorer. Men når det er snakk om så mange brukere og hundretusenvis av samtidige chattesamtaler – så er det nesten umulig for menneskelige moderatorer å få med seg alt. Derfor har vi lært opp en kunstig intelligens til å se etter atferd til overgripere i chattesamtaler. Dette uavhengig av om chatten foregår på spill eller sosiale medier og den kunstige intelligensen kan trenes opp til bestemte språk. Den kunstige intelligensen kan tilpasses alle plattformer, bare man mater den med nok datamateriale, sier Bours.

Og datamaskinen følger med fra første samtale.

– Den kunstige intelligensen foretar en risikovurdering i en samtale allerede fra første setning. Vurderingen pågår kontinuerlig, og jo mer brukerne kommuniserer, jo bedre blir vurderingen. Sannsynligheten for en overgrepssituasjon angis på en skala fra lav til høy. Og ved «høy» kan menneskelige moderatorer varsles. Resultater så langt har vist svært gode resultater, og ved opptil 40 setninger er vurderingen blitt ganske så nøyaktig, men i noen tilfeller trenger risikovurderingen mer eller mindre chattetid enn dette for å komme i mål. Og for å presisere: den kunstige intelligensen avgjør ikke selv om det er en overgripssituasjon eller ikke. Den foretar en risikovurdering, varsler og så må et menneske ta den endelige avgjørelsen til slutt, presiserer Bours.

Er mammaen din hjemme?

Den kunstige intelligensen leter spesifikt etter setninger og ord som er typisk for en overgrepssituasjon. Ved å mate datamaskinen med ekte chattedata som har vært både «ordinære» samtale og overgrepsmateriale – har den kunstige intelligens lært seg opp til å bli en dyktig detektiv.

– For eksempel kan det være situasjoner der en person spør barnet om foreldrene er hjemme, om telefonnummer eller andre ord og uttrykk som kjennetegner en mulig overgrepssituasjon. Nettovergripere starter som regel forsiktig, og da er risikovurderingen til den kunstige intelligensen angitt som lav. Men etter hvert som overgriperne prøver å komme tettere på barna, går risikovurderingen opp. Cybergrooming er som regel en prosess der overgriperne forsøker å bygge opp tillit over tid med barn, sier Bours.

Ofte har nettovergripere samtaler med flere personer gående på en gang. Systemet blir derfor enda mer nøyaktig når det dukker opp varsler på brukerne flere steder.

Men er trygghet byttet ut med overvåkning?

For at en chat skal vurderes som en overgrepssituasjon – må noe eller noen ha innsyn, som i dette tilfellet betyr et dataprogram. Men innebærer det at barna må ofre privatlivet sitt mot trygghet?

– Ikke helt. Den kunstige intelligensen sjekker gjennom samtalen, men klassifiserer brukerne som «anonyme». Det står ikke at «Ole» prater med «Ida». Og dessuten slettes chat over tid da det er umulig for en server å ta vare på så mye chattedata som er i omløp. I tillegg så ønsker ikke vi å ta vare på denne type brukerdata, og det er ikke noe formål å ta vare på brukerdata etter at analyseringen er ferdig. Den menneskelige faktoren, at moderatoren på spill eller app-plattformen leser meldingene, vil kun være nødvendig i de tilfellene der den kunstige intelligensen angir risikovurdering med «høy sannsynlighet» for en overgrepssituasjon. Og disse plattformene lagrer allerede i dag data en kort tid uavhengig av teknologien som vi tilbyr, forsikrer Bours.

Allerede nå er teknologien klar til bruk. Og med det en unik mulighet for å gi barn en tryggere hverdag på nett. Men nå står det på viljen til spillselskaper, sosiale medier og myndighetene, forteller Hege Tokerud.

– Rammeverket er klart og kan tilpasses spillplattformer, sosiale medier, land og kultur. Så lenge vi har chatte-data kan den kunstige intelligensen læres opp og tilpasses ulike kanaler. Nå venter vi bare på at aktørene skal inngå samarbeid med oss og ta dette i bruk. Utfordringen er at det ikke finnes noe regelverk som krever at spillselskaper og sosiale medier tar slike forholdsregler. Cybergrooming er dessuten et kjent fenomen i bransjen, men ikke like kjent blant foreldre og myndighetene. Det snakkes ikke så mye om det, og nettovergrep har jo til nå vært et problem uten en løsning, men nå har vi jo nøkkelen klar til bruk, avslutter Tokerud.

Positiv til teknologien

Barnevakten har bidratt som rådgiver inn i prosjektet ved flere anledninger. Faglig leder i Barnevakten, Kjellaug Tonheim Tønnesen, er positiv til initiativet og håper at det kan bidra til å gi barn og unge en tryggere hverdag på internett.

– Barnevakten ønsker velkommen alle gode tiltak som er med å sikre barn og unge på nett. Dersom dette verktøyet fungerer tilfredsstillende og er innenfor lov om personvern, så er det et kjærkomment verktøy som vi håper myndighetene rundt om i verden ser verdien av, og som spill- og apputviklere vil implementere i sine tjenester, sier Tønnesen.

Les også: