Elke AI-detectietool die je tegenwoordig tegenkomt, zal waarschijnlijk beweren > 95% nauwkeurig te zijn. Sommige zeggen zelfs dat ze 100% betrouwbaar zijn!
Maar zijn AI-detectors nauwkeurig? Echt waar?
AI-modellen worden voortdurend bijgewerkt. De huidige versie van ChatGPT is bijvoorbeeld veel genuanceerder en contextbewuster dan de versie die we in 2022 zagen.
Het is dus vrij logisch dat veel AI-detectors moeite zullen hebben om de tekst nauwkeurig te labelen als AI-gegenereerd.
Sommige tools presteren echter ontegenzeggelijk beter dan andere. Maar om erachter te komen welke hun claims waarmaken, moet je ze testen.
Dat is precies wat we in dit artikel hebben gedaan.
We hebben 10 van de populairste AI-detectors geëvalueerd met dezelfde benchmark die ZDNet gebruikt om te zien hoe nauwkeurig AI-detectors zijn.
Dit is wat we hebben gevonden!
Belangrijkste opmerkingen
- AI-detectors analyseren woordfrequentie, zinsvariatie en zinsbouw om te bepalen of tekst door een mens is geschreven of door AI is gegenereerd.
- De AI-detectie van veel tools is niet 100% waterdicht omdat veel menselijke en AI-schrift dezelfde grammaticale structuren hebben, wat leidt tot valse positieven en negatieven.
- De drie belangrijkste technieken om AI-inhoud nauwkeurig te detecteren zijn statistische taalmodellering, metadata en watermerken, en classificeerders op basis van machinaal leren.
- Undetectable AI combineert meerdere detectiealgoritmen in één federatief systeem. Het biedt gratis en betrouwbare AI-detectie zonder de gebruikelijke nadelen van betaalde tools.
Wat zijn AI-detectoren en hoe werken ze?
AI-detectors zijn tools die bepalen of een stuk tekst door een mens is geschreven of door kunstmatige intelligentie is gegenereerd.
Het systeem splitst tekst op in meetbare kenmerken en scant vervolgens op patronen die machinaal auteurschap aantonen.
AI-gegenereerde tekst heeft de neiging om statistische patronen te volgen. Taalmodellen worden getraind om het volgende woord in een reeks te voorspellen, dus hun schrijven is gebaseerd op waarschijnlijkheden die subtiele sporen creëren.
Maak je nooit meer zorgen dat AI je sms'jes herkent. Undetectable AI Kan je helpen:
- Laat je AI-ondersteund schrijven verschijnen mensachtig.
- Omleiding alle grote AI-detectietools met slechts één klik.
- Gebruik AI veilig en vol vertrouwen op school en op het werk.
AI-detectors pikken deze sporen op door de frequentie van woorden, de variatie in zinsbouw, de complexiteit van de syntaxis en de algemene willekeur (of het gebrek daaraan) in zinsbouw te analyseren.
De twee belangrijkste meetgegevens die door AI-detectors worden gebruikt, zijn:
- Perplexiteit: Het is een maat voor hoe "verrast" een model is door het volgende woord in een zin. Menselijk schrijven vertoont meestal een hogere perplexiteit omdat mensen afwijken van patronen, idioom gebruiken, emotie invoegen, etc., in tegenstelling tot Door AI gegenereerd schrijven.
- Barstigheid: Het meet de variatie in zinslengte en ritme. Mensen schrijven van nature met uitbarstingen van korte, lange en ongelijke zinnen, terwijl AI-content consistent is in lengte.
Waarom AI-detectie zo moeilijk is
Ondanks de verschillen tussen menselijk en AI-schrijfwerk, is het detecteren van AI-gegenereerde tekst een beetje moeilijk, vooral als de tekst bewerkt is.
Hier zijn enkele redenen waarom.
De overeenkomsten tussen menselijk en AI Schrijven
In de kern maakt schrijven, zowel door mensen als door AI's, gebruik van hetzelfde taalsysteem van grammatica, tijden, zinsbouw en zinsbouw.
AI-modellen vinden taal niet vanuit het niets uit.
Ze leren eenvoudigweg van wat mensen al hebben geschreven in de jaren voorafgaand aan hun ontwikkeling.
De datasets waarop ze worden getraind zijn inherent door mensen geschreven.
Elke goed ontwikkelde AI-generatietool zal zich menselijke uitdrukkingspatronen eigen maken en deze proberen te reproduceren.
Hoe meer gegevens ze verbruiken, hoe "menselijker" hun schrijven wordt.
Vals positieven en vals negatieven
AI-detectoren zijn niet onfeilbaar.
Een fout-positieve reactie treedt op wanneer een door mensen geschreven tekst ten onrechte wordt gemarkeerd als door AI gegenereerd.
Daarentegen is er sprake van een vals negatief resultaat als een door AI geschreven tekst er onopgemerkt doorheen glipt.
Beide mislabels komen vaak voor.
Omdat veel AI-detectoren eerder vertrouwen op statistische waarschijnlijkheid dan op feitelijke zekerheid, blijft hun nauwkeurigheid beperkt.
Constante model evolutie
AI-detectie is een bewegend doelwit. Elke nieuwe generatie taalmodellen wordt moeilijker te detecteren.
Toen ChatGPT in 2022 voor het eerst werd geïntroduceerd voor openbaar gebruik, waren de reacties repetitief en vaak formulematig.
Elke AI-detector van vandaag de dag zou dat soort tekst heel gemakkelijk herkennen als door AI geschreven.
Het nieuwste GPT-5 model produceert echter contextbewuste en emotioneel intelligente tekst.
Aangezien de kwaliteit van outputs steeds beter wordt, is het een uitdaging om een AI-tekst met meer stilistische diversiteit te detecteren.
Hoe nauwkeurig zijn AI-detectors tegenwoordig?
Het eerlijke antwoord op deze vraag is dat het sterk afhangt van welke detector en welke detectiemethode je test.
Sommige AI-detectietools claimen bijna perfecte resultaten in gecontroleerde omgevingen, maar wanneer ze worden blootgesteld aan echte gegevens, worden hun prestaties rommelig.
De benchmark ZDNet onderzoek 11 AI-detectors geëvalueerd tegen vijf tekstvoorbeelden (drie gegenereerd door ChatGPT, twee door mensen).
Elk gereedschap dat een monster markeerde met > 70% AI-likelihood werd beschouwd als een "call".
Uit het onderzoek bleek dat Undetectable AI een van de weinige tools was die een nauwkeurigheid van 100% haalde, dat wil zeggen dat het alle vijf monsters (zowel menselijke als AI) zonder fouten correct markeerde.
Maar zijn AI-contentdetectors ook accuraat voor alledaagse gebruikers in het echte leven?
Het punt is dat echte teksten zelden "puur AI" of "puur menselijk" zijn.
Veel ervan is bewerkte, geparafraseerde inhoud met opzettelijke ruis, en met zulke vijandige omstandigheden daalt de nauwkeurigheid van veel detectors sterk.
A collegiaal getoetst onderzoek over Copyleaks, TurnItIn en Originaliteit ontdekten dat ze "een hoge nauwkeurigheid" hebben voor GPT-3.5 en menselijke inhoud, maar dat ze moeite hebben om onderscheid te maken tussen output van GPT-4-niveau.
Top 10 AI-detectoren vergelijken
Om erachter te komen wat de meest accurate AI-detectors zijn, hebben we verschillende tools getest volgens de evaluatiemethode van ZDNet, d.w.z. met in totaal vijf tekstvoorbeelden: drie geschreven door ChatGPT en twee door mensen.
Hier is een ChatGPT-voorbeeld en een door mensen geschreven voorbeeld dat we hebben gebruikt.
ChatGPT Tekst:
Geschreven tekst:
Niet detecteerbare AI
De eerste tool die we testten was Niet detecteerbare AIen het doorstond elke test.
Alle vijf tekstmonsters werden correct geïdentificeerd als 100% door mensen of AI geschreven.
Het platform toonde zelfs indicatoren waar andere detectoren mogelijk een waarschuwing gaven.
Het systeem gebruikt meerdere detectiealgoritmes die zijn gemodelleerd naar veel verschillende AI-modellen (ChatGPT, Gemini, Claude, Llama en anderen), maar in plaats van direct op die modellen te vertrouwen, hebben ze hun eigen federatieve en op consensus gebaseerde systeem gebouwd.
In wezen wordt elk algoritme getraind op patronen van die detectoren, maar wordt het onafhankelijk uitgevoerd om een collectief oordeel te produceren.
Undetectable AI beweert ook dat het AI-gegenereerde tekst "vermenselijkt" zodat het detectie omzeilt, en onze resultaten laten zien dat die bewering indrukwekkend goed standhoudt.
GPTZero
Vervolgens hebben we GPTZero getest, dat ook voldeed aan onze benchmark voor nauwkeurigheid en in alle vijf de samples boven de 80%-drempel scoorde.
Het identificeerde zowel door mensen geschreven stukken als twee van de door AI gegenereerde teksten met 100% betrouwbaarheid.
De enige uitzondering was één AI-gegenereerd monster, dat GPTZero bestempelde als 71% AI-gegenereerd, maar dat volgens onze criteria nog steeds binnen het nauwkeurige bereik valt.
Copyleaks
Copyleaks leverde gemengde resultaten in onze tests. Het struikelde meteen door het eerste menselijk geschreven monster verkeerd te classificeren als 100% AI-gegenereerd.
Er werden zelfs negen zogenaamde "AI overgebruikte zinnen" gemarkeerd.
Elke volgende test was echter nauwkeurig, d.w.z. elke tekst in de resterende vier monsters werd geïdentificeerd als wat het was.
Die inconsistentie wijst erop dat Copyleaks af en toe tot het uiterste kan gaan, zoals met onze door mensen geschreven steekproef.
Toch lag de gemiddelde nauwkeurigheid bij alle tests rond de 80%.
Quillbot
QuillBot was nog een opvallende tool in onze tests, vlak achter Undetectable AI. Het was het tweede hulpmiddel dat elk door mensen geschreven en door AI gegenereerd stuk met 100% nauwkeurigheid identificeerde.
Opvallend is dat QuillBot oorspronkelijk bekend stond om zijn parafraseermogelijkheden.
Maar de AI-detector is ook een verfijnde analysetool die in staat is om taalkundige consistentie aan te wijzen die het auteurschap van AI verraadt.
Ook het vermelden waard is dat Quillbot in de begindagen van zijn lancering niet erg accuraat was, maar het is in de loop der jaren zeker verbeterd. Op dit moment is het een van de weinige betrouwbare AI-detectors die je kunt vinden.
NulGPT
De testresultaten van ZeroGPT vertoonden ook een goede consistentie.
Het eerste menselijk geschreven voorbeeld werd gelabeld als 0% AI-gegenereerd, en het tweede kwam uit op 9.44% AI-gegenereerd, beide ruim binnen het acceptabele bereik voor echt menselijk schrijven.
Alle drie AI-gegenereerde monsters werden daarentegen correct geïdentificeerd als 100% AI-geschreven.
Dus, onze testronde voegt ook ZeroGPT toe aan de lijst van betrouwbare AI detectoren.
Grammarly
Grammarly is een begrip als het gaat om het helpen van schrijvers bij het produceren van grammaticaal correcte inhoud, maar hetzelfde kan niet gezegd worden van de AI-detectiemogelijkheden.
In onze tests liet de Grammarly-detector gemengde en enigszins inconsistente resultaten zien.
De AI-gegenereerde monsters werden gemarkeerd als 92%, 81% en 54% AI-gegenereerd, wat betekent dat er twee correct werden geïdentificeerd, maar dat één test mislukte door de waarschijnlijkheid van de AI te onderschatten.
Bij de door mensen geschreven teksten had het er één goed en de andere verkeerd geclassificeerd als AI.
Je zou dus kunnen zeggen dat het 60% nauwkeurig was in onze analyse.
Originaliteit.ai
Originality.ai was ook een van de zeer betrouwbare AI-detectors omdat het zowel de door AI gegenereerde als de door mensen geschreven detectors correct scande en 100% betrouwbare resultaten gaf.
Originality.ai is een speciaal AI- en plagiaatdetectieplatform. Het analyseert teksten op een granulair niveau en is onafhankelijk getest om ook geparafraseerde en bewerkte inhoud te detecteren.
Het enige probleem met Originality.ai is dat het niet helemaal gratis is.
Het platform biedt 12.000 tekens voor nieuwe gebruikers, waarna extra scans werken op basis van een creditsysteem.
De AI-detector is geprijsd voor 2.000 credits (1 credit is gelijk aan 100 woorden) voor $14,95 per maand.
Schrijver.nl
Writer.com voldeed niet helemaal aan de verwachtingen voor AI-detectie, ook al heeft het een behoorlijke naam voor het produceren van AI-gegenereerde tekst.
Van de vijf tekstvoorbeelden werden 2 door AI geschreven voorbeelden foutief geïdentificeerd als door mensen geschreven.
Dat betekent dat slechts drie van de vijf testresultaten nauwkeurig waren, wat een duidelijke misser is.
Writer.com heeft ook aangekondigd dat zijn AI-detectietool, samen met zijn API-eindpunt, op 22 december zal verdwijnen.
Tot die tijd blijft het gewoon functioneren. Dit laat zien dat het bedrijf zich verwijdert van de AI-detectieruimte.
Monica
Dit was nog zo'n hulpmiddel dat echt goed presteerde tijdens het testen.
Monica heeft elk door mensen geschreven en door AI gegenereerde monster zonder één fout geïdentificeerd, dus je kunt het gerust toevoegen aan je lijst met betrouwbare AI-detectors.
Het bedrijf beweert dat het de AI-analytische krachten van ZeroGPT, GPTZero en Copyleaks combineert in één verenigde tool.
Het systeem is vergelijkbaar met Niet detecteerbare AIdie ook meerdere detectoren combineert voor authentieke AI-detectie.
Sapling AI Detector
Sapling blijkt geen betrouwbare AI-detector te zijn, want het was onnauwkeurig in het identificeren van alle vijf tekstvoorbeelden.
Van onze samples identificeerde Sapling er 2 van door mensen geschreven inhoud als 100% AI, wat er ver naast zit.
Maar wat het meest opvalt aan Sapling is de transparantie. Het bedrijf erkent openlijk dat zijn AI-detector valse positieven kan produceren met korte teksten.
Er staat ook dat ze actief werken aan het verbeteren van het systeem om dergelijke fouten te verminderen.
Ze verduidelijken ook dat geen enkele huidige AI-detector, ook die van Sapling niet, mag worden gebruikt als een op zichzelf staande methode om het auteurschap vast te stellen.
Gebruik de AI-controle om te analyseren hoe betrouwbaar andere AI-detectoren eigenlijk zijn.
Door voorbeeldtekst door meerdere detectietools te testen en de consistentiescores te vergelijken, helpt AI Checker te onthullen welke systemen inhoud verkeerd labelen of overflaggen.
Het is een snelle, transparante manier om de nauwkeurigheid van detectoren te meten voordat je hun resultaten vertrouwt.
AI-detectiemethoden uitgelegd
AI-detectie is niet gebaseerd op één universele formule.
Er zijn verschillende methoden gebruikt en gevalideerd om te bepalen of een stuk tekst door mensen of door AI's is geschreven.
Statistische taalmodellering
Dit is de oudste en meest gebruikte methode voor AI-inhoudsdetectie. Het is gebaseerd op de analyse van de waarschijnlijkheid van woordreeksen, d.w.z. hoe waarschijnlijk het is dat een woord volgt op een ander woord.
AI-gegenereerde tekst heeft meestal een lagere "perplexiteit", dus je zou kunnen zeggen dat het voorspelbaarder en consistenter van structuur is.
Mensen, aan de andere kant, introduceren variabiliteit in tekst.
Inhouddetectors die deze methode gebruiken, berekenen perplexiteit en burstiness om hun herkomst te beoordelen.
Metadata en watermerken
Deze metriek richt zich op hoe de tekst is gegenereerd in plaats van op de structuur.
Watermerken betekent het insluiten van onzichtbare signalen in AI-uitvoer op tokenniveau. In wezen kunnen deze patronen alleen worden gedetecteerd door specifieke algoritmen.
Metadata-detectie inspecteert contextuele gegevens zoals tijdstempels, generatiesnelheid en API-aanroeppatronen om af te leiden of er AI betrokken was bij het schrijfproces.
Maar nogmaals, wanneer AI-gegenereerde tekst wordt bewerkt, gaan deze signalen verloren en daarom werken ze alleen in gecontroleerde testomgevingen.
Classificeerders voor machinaal leren
AI-detectoren vertrouwen steeds meer op classificeerders die zijn getraind om de "textuur" van AI-schrijven te herkennen.
Deze classificeerders analyseren duizenden linguïstische en structurele kenmerken van zowel door mensen geschreven als door AI geproduceerde datasets.
Op basis van die analyse ontwikkelen ze een probabilistisch model om nieuwe tekst te labelen als AI, menselijk of hybride.
De kracht van deze aanpak is dat classificeerders de veranderende aanpak van nieuwere generatieve AI-modellen blijven inhalen.
Geef onze AI Detector en Humanizer een kans in de widget hieronder!
Conclusie
Om de vraag "Zijn AI-detectors nauwkeurig?" te beantwoorden: Ja, verschillende tools zijn betrouwbaar nauwkeurig en Undetectable AI is er daar één van.
Het behaalde een nauwkeurigheid van 100% in elk AI- en menselijk geschreven testvoorbeeld.
De tool is ook gratis te gebruiken, in tegenstelling tot veel andere AI-detectors die hun beste functies verbergen achter betaalmuren of kredietgebaseerde systemen.
De voorsprong van Undetectable AI zit in het federatieve detectiemodel, dat de sterke punten van meerdere toonaangevende detectors combineert in één uniform systeem.
De gelaagde aanpak vermindert het aantal fout-positieven en fout-negatieven aanzienlijk.
Dus als je op zoek bent naar een betrouwbare AI-detector, Niet detecteerbare AI is degene die je moet proberen!