AI-herkenningstools: werken ze echt?
Bijgewerkt op: 5 dagen geleden
AI-detectie Ze zijn onbetrouwbaar, makkelijk te omzeilen en slecht voor het vertrouwen. Wat kan het onderwijs wel doen?
'AI-spam-knop' op LinkedIn en AI-detectie op Substack
AI is handig in je dagelijks gebruik: van het maken van samenvattingen tot een leuke poster. Tegelijkertijd brengt het nieuwe risico’s met zich mee. In het onderwijs is fraude met AI al langer een reëel probleem, maar inmiddels verschuift die discussie ook naar zakelijk verkeer (zoals e-mails) en sociale media. Begin juli becijferde Pangram, een bedrijf dat AI detectie software aanbiedt, dat 40% van alle langere LinkedIn posts volledig zijn gemaakt door AI.
Deze cijfers deden verschillende platforms opnieuw nadenken hoe om te gaan met dit soort ‘AI-slop’, matige door AI-gefabriceerde berichten, om authenticiteit op hun kanalen te bewaren. Sinds kort kun je bij LinkedIn posts markeren wanneer je vermoedt dat ze door AI zijn geschreven. Substack, een veelgebruikt platform voor nieuwsbrieven, gaat nog een stap verder. Het biedt lezers sinds kort de functie aan om via een druk op de knop een post te laten checken op AI-gebruik door een detector. Het klinkt sympathiek, maar AI-detectie, is dat wel een goed idee? In deze blog zoomen we in op het onderwijs, maar de conclusies gelden net zo goed voor platforms en zakelijk verkeer.
Zelfs bij een moderne detector als Pangram zakt de herkenning na een paar kleine menselijke aanpassingen van 98% naar slechts 7%.
Onbetrouwbare AI-detectie
AI-detectors zijn weliswaar goed in het herkennen van teksten die 100% door AI zijn gegenereerd, maar zodra een tekst volledig door mensen is geschreven of een AI-tekst na generatie door mensen is aangepast, neemt de betrouwbaarheid snel af. Zelfs bij een moderne detector als Pangram, die beduidend beter is dan eerdere generaties detectors, zakt de herkenning na een paar kleine menselijke aanpassingen van 98% naar slechts 7%. Zo markeren AI-detectors de grondwet van de VS geregeld als 100% AI. Toch knap voor een document uit 1787, zo’n 239 jaar voor het uitkomen van ChatGPT. Het valt hierbij ook op dat teksten van studenten met Engels als tweede taal eerder als ‘AI-gegenereerd’ worden gemarkeerd. Die teksten gebruiken onder andere meer formeler taalgebruik, herhaling en vaste structuur, wat dus als verdacht wordt gezien. AI-detectors kunnen hierdoor onbedoeld dus ook bias in de hand werken. Daarnaast zijn ze ook eenvoudig te omzeilen, bijvoorbeeld door AI-gegenereerde tekst zelf een beetje aan te passen of de tekst door een ‘humanizer’ te gooien, software die je tekst weer ‘menselijker’ laat lijken. Onderzoek liet zien dat door een AI-gegenereerde tekst een beetje zelf te bewerken, je 88% van de AI-detectors kan omzeilen.
Eerder schreven we al eens over de rol van bias in AI systemen bij het invullen van WK-pouletjes:
AI-detectors leveren bovendien geen hard bewijs, maar slechts een indicatie/vermoeden van AI-gebruik (vaak via een waarschijnlijkheidspercentage). Voor onomstotelijk bewijs is vaak een ‘smoking gun nodig’: verzonnen bronnen of andere duidelijke AI-sporen. Hierdoor vangen universiteiten regelmatig bot in geschillen waarbij studenten worden verdacht van AI-fraude.
AI-detectors worden er niet beter op
De paradox is dat AI-detectors naar verwachting komende jaren alleen maar slechter gaat presteren. Dit omdat AI steeds beter in staat zal te schrijven als mensen, waardoor het gat tussen door AI-gegenereerde teksten en door mensen geschreven teksten alleen maar kleiner wordt. Mede hierdoor raden organisaties zoals SURF en Kennisnet het gebruik hiervan ook af voor fraudedetectie voor het onderwijs. Het is dus maar zeer de vraag wat je bereikt met AI-detectie. Ondanks goede bedoelingen, zoals het opsporen van fraude, lopen we door de onbetrouwbaarheid van AI-detectors het risico het wantrouwen tussen studenten en docenten juist te vergroten.
Het is alsof je een leugendetector inzet waarvan je weet dat die onbetrouwbaar is.
Wat kan het onderwijs dan wel doen?
Voor het onderwijs betekenen AI-bots zeker een risico. Je kan als docent niet meer van een verslag afleiden of leerlingen voldoende kennis hebben opgedaan over een vak. Door toch nog op een valide manier kennis te toetsen kan het onderwijs bijvoorbeeld wel de focus verleggen van een eindverslag naar het proces daarvóór. Denk aan tussentijdse gesprekken over de voortgang, een gedetailleerd logboek (met de gedane stappen) en peer reviews. Daarnaast is het ook belangrijk dat leerlingen onderwijs krijgen over AI, met een focus op het kritisch beoordelen van AI-antwoorden.
Concluderend lijkt AI-detectie op het eerste oog een eenvoudige oplossing voor fraude en ‘AI-slop’, maar het risico op valse beschuldigingen en bias is te groot. Het is alsof je een leugendetector inzet waarvan je weet dat die onbetrouwbaar is. Zeker in het onderwijs is het daarom verstandiger om toetsing anders in te richten: de focus verschuiven van het eindproduct naar het proces, begrip en de eigen ontwikkeling van de leerling of student. Buiten het onderwijs zal de strategie met AI-detectors ook mislukken. Wie geen AI gebruikt, krijgt het stigma van de detectie; wie wel, omzeilt diezelfde tools binnen minuten. In het klaslokaal én in je feed geldt daarom hetzelfde: AI-detectie bestrijdt het probleem niet, maar verplaatst het.
Benieuwd hoe de DigiFabriek jongeren en scholen helpt om bewust en kritisch met AI om te gaan?
Opmerkingen