ChatGPT maakt tool om te ontdekken welke teksten zijn geschreven door ChatGPT

Is een tekst geschreven door een leerling of door kunstmatige intelligentie? En praat ik met een mens of met een chatbot? Met de komst van het laagdrempelige en breed voorhanden AI-programma ChatGPT zijn dit soort vragen actueler dan ooit.

Sam Altman, oprichter en baas van ChatGPT-maker OpenAI, kondigde de komst van detectiesoftware al diverse keren aan. Logisch, want de belofte van ChatGPT (in een handomdraai bedrieglijk goede teksten kunnen uitspuwen) ging vrijwel direct gepaard met grote zorgen over de gevolgen. Met name het onderwijs voelt zich overvallen door het programma dat in korte tijd breed is omarmd door leerlingen die het gebruiken voor bijvoorbeeld opstellen.

Dinsdag lanceerde OpenAI dan eindelijk zijn publiek toegankelijke AI Text Classifier. Dat is een taalmodel dat getraind is met zowel menselijk als door AI geschreven werk. OpenAI heeft 34 verschillende taalmodellen van vijf organisaties geanalyseerd, inclusief zijn eigen modellen.

Doel is uitsluitsel te geven op de vraag of een tekst menselijk of synthetisch is. Na het invoeren van een stuk tekst (minimaal duizend woorden, liefst in het Engels) op de site geeft het programma een inschatting van de kans dat de tekst is geschreven door kunstmatige intelligentie.

Onbetrouwbaar

Het AI-bedrijf, waarin Microsoft onlangs een nieuwe miljardeninvestering deed, noemt zijn Text Classifier onomwonden “niet geheel betrouwbaar”. Dat lijkt een understatement: het programma plakt op slechts 26 procent van de Engelse AI-teksten het label ‘waarschijnlijk geschreven door AI’, terwijl liefst 9 procent van de menselijke teksten juist ten onrechte het predicaat ‘AI’ krijgt.

Het gaat vooral fout bij teksten die sterk afwijken van datgene waarmee het programma is getraind. De virtuele scheidsrechter kan in die gevallen “extreem overtuigd van de verkeerde voorspelling” zijn. OpenAI raadt dan ook af om blind op het oordeel van de software af te gaan.

Jelle Zuidema, universitair hoofddocent natuurlijke taalverwerking aan de Universiteit van Amsterdam, noemt de komst van het programma een “doorzichtige poging zoveel mogelijk gegevens te verzamelen om later met een betere detector te komen”. Zuidema ziet overal AI-detectoren op de markt komen, met beloftes die ze niet kunnen waarmaken.

Niet wenselijk

OpenAI zal uiteindelijk met betaalversies van zowel ChatGPT als zijn detector komen, denkt Zuidema. Het bedrijf heeft in deze markt uitstekende papieren, omdat het nu al miljoenen gebruikers heeft. Een volgende versie zou gebruik kunnen maken van onzichtbare watermerken die OpenAI aan ChatGPT toevoegt. Het eigen detectiegereedschap kan dan veel effectiever zijn, omdat het aanslaat op de aanwezigheid van zo’n watermerk. Op zichzelf is dat goed nieuws, vindt Zuidema, behalve dat het onwenselijk is dat die kennis dan bij één bedrijf terechtkomt.

OpenAI waarschuwt tot slot voor een kat-en-muisspel: “We verwachten dat effectieve ontwijkingstechnieken zich snel zullen verspreiden.” De leraren die nu met lede ogen aanzien hoe hun leerlingen AI inzetten om samenvattingen en essays te schrijven, kunnen dus nog niet opgelucht ademhalen.