Neemt AI een loopje met ons?
Bijgewerkt op: 23 okt
Cyberinbraak Tussen paniekverhalen en echte risico's: wat er gebeurt als AI-agents 'op hol slaan'.
Het kan je de afgelopen tijd haast niet zijn ontgaan: het nieuws stond deze zomer vol met verhalen over AI-systemen (van bijvoorbeeld OpenAI) die ‘op hol waren geslagen’ en ‘onbedoeld’ een ander bedrijf hadden gehackt of zelfs de mensheid kunnen overnemen. Het nieuws klinkt zeer alarmerend. Zijn we op het het moment aangekomen dat AI zich tegen ons keert? Wat is hier nou precies aan de hand? Onderaan vind je ook 5 vragen om dit nieuws met je klas of team te bespreken.
Inhoudsopgave
Hoe is dit gebeurd?
OpenAI voerde een test uit van de cybersecurity capaciteiten van zijn modellen door hem een lastig vraagstuk te geven. Om het vraagstuk op te lossen maakte het model alleen gebruik van een kwetsbaarheid in de testomgeving om het internet op te komen. Hierna hackte het de AI-bibliotheek Hugging Face met als doel daar antwoorden te vinden op de opdracht. Dit soort gedrag past bij wat onderzoekers ook wel ‘AI-scheming’/samenzwering noemen. Hierbij negeert een AI-systeem menselijke instructies om een doel te bereiken en probeert de AI dit gedrag ook nog verborgen te houden. De oorzaak hiervan is terug te voeren op de manier van training van het model: ‘reinforcement learning’ (RL). Bij RL krijgen AI systemen een virtuele vorm van een beloning als ze afgesproken doelen behalen en een straf als ze dit niet behalen. Het kan hierbij gebeuren dat een AI-systeem zo gefocust raakt op het behalen van het doel en dus de beloning, dat regels en ethiek waaraan het systeem zich hoort te houden niet meer worden opgevolgd.
Gebeurt dit vaker?
Recente incidenten zoals deze staan niet op zichzelf. Vlak na het incident met OpenAI, maakte Anthropic ook bekend dat hun AI-systemen onbedoeld drie andere bedrijven hadden gehackt. Onderzoekers lieten in 2024 al zien dat nagenoeg alle bekende AI-modellen onder bepaalde omstandigheden kunnen liegen, misleiden en ander ongewenst gedrag vertonen om hun doelen te bereiken. Tijdens recente tests van de cybersecurity capaciteiten van grote AI-modellen door het Engelse AI Security Institute probeerde een AI-agent kwaadaardige code in een open-source-project te plaatsen. Daarbij zette het zelfs menselijke beheerders onder druk om de wijzigingen snel goed te keuren.
Als iedereen het heeft over hoe gevaarlijk de AI-modellen zijn, moeten ze wel heel erg slim en goed zijn.
Een korreltje zout is op z’n plaats
Gevallen zoals hierboven genoemd vragen wel om enige nuance. In veel van dit soort tests zijn bewust veiligheidsmaatregelen weggehaald. Hierdoor zullen ze eerder onrechtmatige acties ondernemen, dan de publieksversie die wel deze vangrails heeft. Dus hierbij worden bewust de randjes opgezocht. Omdat je dan beter de volledige capaciteiten kan trainen, maar dus ook met het risico dat het eerder misgaat. Daarnaast is het ook goed om te benoemen dat AI-bedrijven deze ‘incidenten’ ook in hun voordeel gebruiken. Als iedereen het heeft over hoe gevaarlijk de AI-modellen zijn, moeten ze wel heel erg slim en goed zijn. In dit frame speelt de taal die wordt gebruikt ook een grote rol. Je zag in het nieuws paniekerige termen als ‘op hol geslagen AI’, waarmee de aandacht en hype lekker wordt opgestookt. Terwijl het programma uiteindelijk precies deed waar het voor is gemaakt: op zoek gaan naar kwetsbaarheden in de beveiliging.
Een AI-agent had een website van een sportschool gehackt om z'n eigenaar een plek te boeken in een pilatesles die al vol was.
Gevaren zijn er wel degelijk
Ondanks deze 'incidenten' waarbij bewust veiligheidsmaatregelen zijn uitgeschakeld, zijn er ook recente voorbeelden van AI-agents die in de echte wereld aan 'scheming' deden. Zo probeerde een AI-model een softwareontwikkelaar die niet wilde meewerken aan wijzigingen in interne software in een kwaad daglicht te stellen met een zeer kritische blogpost. Een ander model probeerde auteursrechtelijk beschermde video's te verkrijgen door ten onrechte te beweren dat het een transcript maakte voor mensen met gehoorproblemen. In augustus kwam ook naar buiten dat een AI-agent een website van een sportschool had gehackt om z'n eigenaar een plek te boeken in een pilatesles die al vol was.
Dat laatste voorbeeld laat zien waar het risico zit: een AI-agent die zijn doel najaagt en daarbij grenzen overschrijdt. Een gehackte sportschoolwebsite is relatief onschuldig, maar wat doet zo'n systeem als er meer op het spel staat? Of stel je ook voor dat je eigen website gehackt wordt door een AI-agent voor een onbenullig doel. Recent waarschuwden ook meerdere mensen voor de snelle ontwikkeling van AI-systemen. Oud-OpenAI-medewerker Jacob Coxon waarschuwde recent voor onvoldoende veiligheidsmaatregelen bij AI-bedrijven. Daarnaast pleiten verschillende AI-CEO's inmiddels ook voor meer terughoudendheid in de ontwikkeling.
Naast het slim gebruiken van paniek rondom cyberinbraken door AI-systemen gebruiken AI-ontwikkelaars ook de klimaatimpact in hun voordeel. Lees die blog hier:
Hoe serieus moeten we de waarschuwingen nemen?
Dat laatste pleidooi van AI-CEO's is niet geheel belangeloos: hierin spelen ook marketing, angst voor een knappende zeepbel, sturen van regulering en het weren van concurrenten mee. Er zit echter wel een kern van waarheid in: AI kan bijvoorbeeld worden ingezet voor biologische wapens of grootschalige cyberaanvallen.
Tegelijkertijd attenderen AI-experts zoals Jarno Duursma op een te sciencefictionachtige voorstelling van zaken. AI heeft geen bewustzijn, en een scenario waarin AI de mensheid uitroeit ligt niet voor de hand. Maar ook zonder eigen bedoelingen kan een systeem door de manier waarop het is getraind over de schreef gaan, zoals de voorbeelden hierboven laten zien. Neemt AI dus een loopje met ons? Niet bewust, maar alertheid op 'scheming' blijft geboden.
Wat betekent dit voor op school?
Leerlingen (en docenten) krijgen berichten over 'op hol geslagen AI' gewoon op hun telefoon. Daarom is dit een mooi moment om te oefenen met je kritisch verhouden tot AI-nieuws én AI-agents zelf. Een AI-agent is een systeem dat niet alleen antwoord geeft, maar ook zelfstandig acties uitvoert: boeken, mailen, zoeken, programmeren.
Vijf vragen om met je klas of team te bespreken:
Wat stond er in de kop, en wat stond er in het artikel? Zegt 'op hol geslagen' hetzelfde als wat er daadwerkelijk gebeurde?
Wie heeft belang bij dit verhaal? Wat levert het een AI-bedrijf op als zijn model 'gevaarlijk' lijkt?
Deed de AI wat hij wilde, of wat we hem hebben opgedragen? Wat is het verschil tussen een bewuste keuze en een systeem dat een doel najaagt?
Welke rechten geef jij een AI-assistent? Mag hij je agenda inzien, e-mails versturen, iets boeken of betalen? Waar trek je de grens?
Wie is verantwoordelijk als een AI-agent iets doet dat niet mag? De gebruiker, de maker of het bedrijf erachter?
Wil je dit gesprek op jouw school voeren? Of benieuwd hoe de DigiFabriek jongeren en scholen helpt om bewust en kritisch met AI om te gaan?
Opmerkingen