Een ChatGPT checker geeft een aanwijzing, geen bewijs

Een ChatGPT checker belooft een eenvoudige test: plak tekst in een website en kijk of die waarschijnlijk door ChatGPT of een ander taalmodel is gemaakt. Dat lijkt handig als je een tekst ontvangt voor school, werk of je bedrijf, maar een score vertelt niet wie de tekst schreef en evenmin welk hulpmiddel is gebruikt. De uitkomst hangt af van de detector, de tekst en de omstandigheden waarin het systeem is getest.

Hier lees je waar je op let bij het kiezen en gebruiken van een checker, waarom menselijke tekst een AI-label kan krijgen en hoe je een uitslag zorgvuldig controleert. De kern: gebruik een detector als aanleiding voor verder onderzoek, niet als zelfstandig bewijs.

Wat meet een ChatGPT checker eigenlijk?

Een checker probeert aan de hand van patronen in een tekst te schatten of die op AI-gegenereerde tekst lijkt. Dat is iets anders dan de herkomst vaststellen. De software ziet doorgaans niet wie achter een toetsenbord zat, welke prompts zijn gebruikt of hoeveel een schrijver zelf heeft aangepast. Een score of label als “waarschijnlijk AI” is dus een classificatie, geen digitaal bewijsstuk.

Let ook op het verschil tussen een detector en plagiaatcontrole. Een plagiaatcontrole zoekt naar overeenkomst met bestaande teksten; een AI-detector schat de waarschijnlijkheid van een bepaalde schrijfstijl. Een tekst kan door een detector als AI-achtig worden gezien zonder gekopieerd te zijn. En een AI-tekst kan juist buiten de herkenningspatronen van een detector vallen.

OpenAI publiceerde in januari 2023 zelf een classifier voor AI-geschreven tekst. Op een Engelstalige testset herkende die volgens het bedrijf 26% van de AI-teksten als waarschijnlijk AI-geschreven en bestempelde hij 9% van de menselijke teksten ten onrechte zo. OpenAI waarschuwde bovendien dat de tool onder 1.000 tekens zeer onbetrouwbaar was en maakte de classifier op 20 juli 2023 onbeschikbaar wegens de lage nauwkeurigheid. Dat zijn resultaten van die specifieke, historische tool en testset, geen actuele prestaties van iedere checker. OpenAI’s toelichting op de classifier noemt ook beperkingen bij andere talen, code en bewerkte AI-tekst.

Welke criteria zijn belangrijk bij het kiezen?

Een bruikbare vergelijking begint niet bij de grootste belofte op de homepage, maar bij de testmethode en de grenzen van het hulpmiddel. Controleer deze punten:

• Taal en tekstsoort: is de checker getest op Nederlands, of alleen op Engels? Resultaten voor essays gelden niet vanzelf voor e-mails, productteksten, vertalingen of code.
• Lengte: vermeldt de aanbieder een minimale tekstlengte? Een korte alinea bevat minder materiaal waarop een schatting kan steunen.
• Foutpositieven: hoe vaak markeert de detector menselijke tekst ten onrechte als AI? Vraag naar de gebruikte testset, niet alleen naar een algemene nauwkeurigheidsclaim.
• Foutnegatieven: hoe vaak glipt AI-tekst door als menselijk geschreven? Een lage score sluit AI-gebruik niet uit.
• Onafhankelijke evaluatie: zijn de resultaten door onderzoekers of een onafhankelijke testinstantie gecontroleerd, en sluiten de testteksten aan bij jouw gebruik?
• Privacy: lees vóór het uploaden wat er met de tekst gebeurt. Deel geen vertrouwelijke bedrijfsinformatie, persoonsgegevens of ongepubliceerd werk als je niet weet hoe de dienst die verwerkt.

De termen foutpositief en foutnegatief zijn nuttig om de uitslag te lezen. Een foutpositief is menselijke tekst die ten onrechte als AI-tekst wordt aangemerkt; een foutnegatief is AI-tekst die als menselijk wordt ingeschat. Geen van beide wordt opgelost door alleen een percentage te tonen: zonder informatie over de testdata en gekozen drempel blijft zo’n getal lastig te interpreteren.

Waarom kan menselijke tekst een AI-label krijgen?

Detectors zoeken vaak naar statistische kenmerken van taal, niet naar een herkenbare handtekening van een specifieke chatbot. Een zakelijke tekst, een korte uitleg of een zorgvuldig geredigeerde alinea kan daardoor kenmerken delen met tekst die een taalmodel produceert. Omgekeerd kan een door AI gemaakte tekst na menselijke bewerking minder op de voorbeelden lijken waarop een checker is getraind.

Een onderzoek van Stanford-onderzoekers, gepubliceerd in het tijdschrift Patterns, liet een concreet risico zien in een test met zeven detectors. De onderzoekers beoordeelden 91 essays van niet-moedertaalsprekers van het Engels en 88 essays van Amerikaanse leerlingen in het achtste leerjaar (eighth grade); gemiddeld bestempelden de detectors 61,3% van de TOEFL-essays ten onrechte als AI-geschreven. Dat percentage beschrijft die specifieke essays en onderzochte detectors, niet iedere taal, schrijver of hedendaagse dienst. Het onderzoek laat wel zien waarom een foutieve melding vooral nadelig kan zijn wanneer iemand de score als doorslaggevend bewijs behandelt. De studie in Patterns beschrijft ook hoe eenvoudige wijzigingen in de opdracht de detectie van AI-tekst konden beïnvloeden.

Testresultaten zijn bovendien afhankelijk van de omstandigheden. Het Amerikaanse National Institute of Standards and Technology (NIST) evalueerde in zijn GenAI-pilot zowel menselijke als machinaal geschreven samenvattingen en vergeleek verschillende generators en detectors. NIST rapporteerde dat de prestaties per systeem sterk verschilden: sommige generators konden veel detectors misleiden, terwijl sommige detectors tekst van bijna alle deelnemende generators herkenden. Dat is geen universele ranglijst en zegt niet dat iedere checker hetzelfde doet. Het onderstreept wel dat je een score moet lezen binnen de testcontext waarin die is verkregen. NIST’s evaluatie van tekstgeneratie en detectie beschrijft ook het gebruik van meerdere meetmethoden in plaats van één enkel succespercentage.

Hoe vergelijk je checkers zonder op een verkooppraatje af te gaan?

Vergelijk alleen diensten waarvan de uitleg voldoende concreet is. Noteer per checker welke taal en tekstsoort zijn getest, hoe lang de voorbeelden waren, welke AI-modellen zijn meegenomen en wat de aanbieder als foutpositief beschouwt. Zoek ook uit of de test teksten bevat die door mensen zijn aangepast of met AI zijn nagekeken. Een test met volledig menselijke teksten tegenover volledig gegenereerde teksten kan een andere situatie meten dan een tekst die door een mens is geschreven en daarna met AI is geredigeerd.

Vergelijk niet zomaar percentages van verschillende websites met elkaar. Een detector kan bijvoorbeeld een strenge drempel gebruiken en daardoor minder menselijke teksten fout markeren, maar ook meer AI-teksten missen. Een andere kan vaker AI aanwijzen, met mogelijk meer foutieve verdenkingen als gevolg. Zonder dezelfde testset en dezelfde definities is “nauwkeuriger” niet goed onderbouwd.

Voor gebruik op school of op het werk speelt ook de beslissing achter de score mee. Is een melding alleen een aanleiding om vragen te stellen, of leidt die direct tot een sanctie, afwijzing of reputatieschade? Hoe zwaarder de consequentie, hoe minder verantwoord het is om op één geautomatiseerde uitkomst te vertrouwen. Bij zakelijke teksten is daarnaast relevant of een detector iets toevoegt aan bestaande controles op feiten, bronvermelding en kwaliteit.

Technologie en digitale hulpmiddelen veranderen snel. Wie ontwikkelingen rond AI in bredere context volgt, kan ook kijken naar innovaties in dagelijks leven en werk. Gaat het niet om de herkomst van tekst maar om een ChatGPT-probleem, zoals een foutmelding of onbereikbare dienst, dan is een vaste diagnose bij een storing een ander soort controle.

Hoe test je een uitslag stap voor stap?

1. Controleer eerst wat de uitslag betekent. Noteer of de checker een percentage, een label of gemarkeerde zinnen toont. Een percentage is niet automatisch de kans dat een bepaalde persoon AI heeft gebruikt; kijk in de uitleg van de aanbieder hoe de score is gedefinieerd.
2. Lees de beperkingen. Zoek de informatie over taal, lengte, tekstsoort, foutpositieven en de datum of versie van de test. Ontbreekt die uitleg, dan weet je niet goed waarop de score steunt.
3. Test niet steeds opnieuw tot je een gewenst antwoord krijgt. Verschillende tools kunnen uiteenlopen doordat ze andere modellen, voorbeelden of drempels gebruiken. Kies hooguit een tweede detector als aanvullende aanwijzing en behandel tegenstrijdige uitkomsten als onzekerheid, niet als een stemming.
4. Onderzoek de tekst zelf. Controleer feiten, bronverwijzingen, opvallende herhalingen en passages die niet passen bij de opdracht. Die controle zegt iets over de kwaliteit van de tekst, maar bewijst op zichzelf evenmin wie hem schreef.
5. Vraag om controleerbaar procesmateriaal. Voor eigen werk kunnen concepten, notities, versies en bronmateriaal laten zien hoe de tekst tot stand kwam. Voor ontvangen werk kun je de schrijver vragen keuzes toe te lichten of bronnen te bespreken, zonder een detectorlabel als vaststaand oordeel te presenteren.
6. Beperk wat je uploadt. Verwijder namen en gevoelige gegevens waar dat kan en gebruik geen externe checker voor vertrouwelijke tekst voordat je de voorwaarden hebt gelezen.

Hoe controleer je het resultaat eerlijk?

Behandel de uitslag als een zwak signaal dat context nodig heeft. De beslissende vraag is niet alleen “wat zegt de checker?”, maar ook “welke alternatieve verklaringen zijn er en welk onafhankelijk materiaal kan de herkomst ondersteunen?” Een formele, korte of sterk geredigeerde tekst kan een detector op het verkeerde been zetten; een AI-tekst die is aangepast kan juist niet worden herkend.

Leg bij een belangrijke beslissing vooraf vast welke informatie telt en geef de schrijver gelegenheid daarop te reageren. Maak onderscheid tussen bewijs van AI-gebruik en bewijs van een probleem met de inhoud, zoals onjuiste feiten of ontbrekende bronvermelding. Een checker kan hooguit helpen bepalen welke passage nader onderzoek verdient. De score alleen vertelt niet wie de tekst heeft geschreven.