Är AI-detektorer exakta? Sanningen bakom verktygen

Varje AI-detekteringsverktyg du stöter på idag kommer sannolikt att skryta med ett djärvt påstående om att vara > 95% korrekt. Vissa säger till och med att de är 100% tillförlitliga! 

Men är AI-detektorer korrekta? Är de verkligen det?

AI-modeller uppdateras ständigt. Den nuvarande versionen av ChatGPT, till exempel, är mycket mer nyanserad och kontextmedveten än den version vi såg 2022.

Därför är det ganska naturligt att många AI-detektorer kommer att ha svårt att korrekt märka texten som AI-genererad. 

Med det sagt är det onekligen så att vissa verktyg fungerar bättre än andra. Men för att ta reda på vilka som faktiskt lever upp till sina påståenden måste du testa dem.

Det är precis vad vi har gjort i den här artikeln.

Vi utvärderade 10 av de mest populära AI-detektorerna på samma benchmark som ZDNet använder för att se hur exakta AI-detektorerna är. 

Här är vad vi hittade!

---

Viktiga slutsatser

• AI-detektorer analyserar ordfrekvens, meningsvariation och syntax för att avgöra om texten är skriven av en människa eller genererad av AI.

• AI-detekteringen av många verktyg är inte 100% idiotsäker eftersom mycket av det som skrivs av människor och AI har samma grammatiska strukturer, vilket leder till falska positiva och negativa resultat.

• De tre huvudsakliga teknikerna för att korrekt upptäcka AI-innehåll är statistisk språkmodellering, metadata och vattenmärkning samt klassificerare för maskininlärning

• Undetectable AI kombinerar flera detekteringsalgoritmer i ett federerat system. Det erbjuder gratis och tillförlitlig AI-detektering utan de vanliga kompromisserna med betalda verktyg.

---

Vad är AI-detektorer och hur fungerar de?

AI-detektorer är verktyg som avgör om en text är skriven av en människa eller om den har genererats av artificiell intelligens.

Systemet bryter ner text till mätbara funktioner och söker sedan efter mönster som avslöjar maskinellt författarskap.

AI-genererad text tenderar att följa statistiska mönster. Språkmodeller tränas för att förutsäga nästa ord i en sekvens, så deras skrivande bygger på sannolikheter som skapar subtila spår.

AI-detektorer fångar upp dessa spår genom analys av ordfrekvens, variation i meningsstrukturen, syntaxkomplexitet och den övergripande slumpmässigheten (eller bristen på sådan) i formuleringen.

De två viktigaste mätvärdena som används av AI-detektorer är

1. Förvirring: Det är ett mått på hur "överraskad" en modell blir av nästa ord i en mening. Mänskligt skrivande visar vanligtvis högre förvirring eftersom människor avviker från mönster, använder idiom, infogar känslor etc, till skillnad från AI-genererat skrivande.

2. Sprickighet: Den mäter variationen i meningslängd och rytm. Människor skriver naturligt med korta, långa och ojämna meningar, medan AI-skrivet innehåll har en jämn längd. 

Varför är det så svårt att upptäcka AI?

Trots skillnaderna mellan mänskligt och AI-skrivande är det lite svårt att upptäcka AI-genererad text, särskilt när den har redigerats. 

Här är några skäl till varför. 

Likheten mellan mänskligt och AI-skrivande

Skrivande i grunden, både mänskligt och AI-skrivet, använder samma språksystem med grammatik, tempus, syntax och frasering.

AI-modeller uppfinner inte språk från grunden.

De lär sig helt enkelt av vad människor redan har skrivit under de år som föregår deras utveckling.

De dataset som de tränas på är till sin natur skrivna av människor.

Därför kommer alla välutvecklade AI-generationsverktyg att internalisera mänskliga uttrycksmönster och försöka reproducera dem.

Ju mer data de konsumerar, desto mer "människoliknande" blir deras skrivande.

Falska positiva och falska negativa resultat

AI-detektorer är inte ofelbara. 

Ett falskt positivt resultat uppstår när en text som skrivits av en människa felaktigt flaggas som AI-genererad. 

Ett falskt negativt resultat uppstår däremot när AI-skriven text slinker igenom utan att upptäckas. 

Båda dessa felmärkningar är ganska vanliga.

Eftersom många AI-detektorer förlitar sig på statistisk sannolikhet snarare än faktisk säkerhet är deras noggrannhet fortfarande begränsad.

Konstant modell Evolution

AI-detektering är ett rörligt mål. Varje ny generation av språkmodeller blir svårare att upptäcka. 

När ChatGPT först introducerades för allmän användning 2022 var svaren repetitiva och ofta formella.

Alla AI-detektorer idag skulle mycket lätt fånga upp den typen av text som AI-skriven. 

Den senaste GPT-5-modellen producerar dock kontextmedveten och känslomässigt intelligent text.

Eftersom kvaliteten på utdata hela tiden förbättras är det en utmaning att upptäcka en AI-text med större stilistisk mångfald.

Hur exakta är AI-detektorer idag?

Det ärliga svaret på den här frågan är att det i hög grad beror på vilken detektor och vilken detektionsmetod du testar. 

Vissa AI-detekteringsverktyg hävdar nästan perfekta resultat i kontrollerade miljöer, men när de utsätts för verkliga data blir deras prestanda rörig.

Riktmärket ZDNet-studie utvärderade 11 AI-detektorer mot fem textprover (tre genererade av ChatGPT, två av människor).

Alla verktyg som markerade ett prov med > 70% AI-sannolikhet ansågs ha "gjort ett samtal". 

Studien visade att Undetectable AI var ett av de få verktyg som uppnådde 100%-noggrannhet, dvs. det flaggade korrekt alla fem prover (både mänskliga och AI) utan fel.

Men är AI-innehållsdetektorer korrekta för vardagliga användare i verkliga miljöer också? 

Saken är den att texter i verkligheten sällan är "ren AI" eller "ren människa".

Mycket av det är redigerat, omskrivet innehåll med avsiktligt brus, och med sådana kontradiktoriska förhållanden sjunker noggrannheten hos många detektorer kraftigt.

A Peer-reviewed studie på Copyleaks, TurnItIn och Originality fann att medan de "har hög noggrannhet" på GPT-3.5 och mänskligt innehåll, kämpar de för att skilja mellan GPT-4-nivåutdata.

Jämförelse av de 10 bästa AI-detektorerna

För att ta reda på vilka som är de mest exakta AI-detektorerna testade vi nu flera verktyg med ZDNets utvärderingsmetod, dvs. med totalt fem textprover: tre skrivna av ChatGPT och två av människor.

Här är ett ChatGPT-exempel och ett mänskligt skrivet exempel som vi använde.

ChatGPT Text: 

Mänsklig skriven text:

Odetekterbar AI 

Det första verktyget vi testade var Odetekterbar AIoch den klarade varje enskilt test.

Alla fem textexemplen identifierades korrekt som antingen 100% skrivna av en människa eller av en AI.

Plattformen visade till och med indikatorer där andra detektorer kanske hade flaggat.

Systemet använder flera detektoralgoritmer som är modellerade efter många olika AI-modeller (ChatGPT, Gemini, Claude, Llama och andra) men istället för att förlita sig direkt på dessa modeller byggde de sitt eget federerade och konsensusbaserade system.

I princip tränas varje algoritm på mönster från dessa detektorer, men körs oberoende av varandra för att producera en kollektiv bedömning.

Undetectable AI påstår sig också "humanisera" AI-genererad text så att den kringgår upptäckt, och från våra resultat höll detta påstående imponerande bra.

GPTZero 

Därefter testade vi GPTZero, som också uppfyllde vårt benchmark för noggrannhet och fick poäng över 80%-tröskeln i alla fem proverna.

Den identifierade korrekt båda de mänskligt skrivna texterna och två av de AI-genererade texterna med 100% konfidens.

Det enda undantaget var ett AI-genererat prov, som GPTZero märkte som 71% AI-genererat, men som fortfarande faller inom det korrekta intervallet enligt våra kriterier.

Copyleaks 

Copyleaks levererade blandade resultat i våra tester. Det snubblade direkt ut ur porten genom att felklassificera det första mänskligt skrivna provet som 100% AI-genererat.

Den flaggade även för nio så kallade "AI-överanvända fraser".

Varje efterföljande test var dock korrekt, dvs. det identifierade varje text i de återstående fyra proven för vad den var.

Denna inkonsekvens pekar på att Copyleaks ibland kan svänga till ytterligheter, som det gjorde med vårt mänskligt skrivna prov.

Sett över alla tester låg den ändå i genomsnitt runt 80%-precision. 

Quillbot

QuillBot var ett annat verktyg som utmärkte sig i våra tester, strax efter Undetectable AI. Det var det andra verktyget som identifierade varje mänskligt skrivet och AI-genererat stycke med 100%-noggrannhet.

Det som är anmärkningsvärt är att QuillBot ursprungligen var känt för sina parafraseringsfunktioner.

Men AI-detektorn är också ett raffinerat analysverktyg som kan hitta språkliga konsistenser som avslöjar AI-författarskap.

Det är också värt att notera att Quillbot inte var särskilt exakt under de första dagarna av lanseringen, men det har definitivt förbättrats genom åren. För närvarande är det en av de få pålitliga AI-detektorerna du hittar. 

NollGPT 

ZeroGPT:s testresultat visade också god överensstämmelse. 

Det första mänskligt skrivna provet märktes som 0% AI-genererat, och det andra kom in på 9,44% AI-genererat, båda bekvämt inom det acceptabla intervallet för äkta mänskligt skrivande.

Alla tre AI-genererade prover identifierades däremot korrekt som 100% AI-skrivet. 

Så vår testrunda lägger också till ZeroGPT i listan över pålitliga AI-detektorer. 

Grammatik

Grammarly är ett välkänt namn när det gäller att hjälpa skribenter att producera grammatiskt korrekt innehåll, men detsamma kan inte sägas om dess AI-detekteringsfunktioner.

I våra tester visade Grammarlys detektor blandade och något inkonsekventa resultat.

För de AI-genererade proverna markerade den dem som 92%, 81% och 54% AI-genererade, vilket innebär att den korrekt identifierade två men misslyckades med ett test genom att underskatta AI-sannolikheten.

När det gäller de texter som skrivits av människor fick den rätt på en och felklassificerade den andra som AI.

Så man kan säga att det var 60% korrekt i vår analys.

Originalitet.ai 

Originality.ai var också bland mycket pålitliga AI-detektorer eftersom den korrekt skannade både de AI-genererade och de mänskligt skrivna och gav 100% säkra resultat.

Originality.ai är en dedikerad AI- och plagiatdetekteringsplattform. Den analyserar skrivande på en detaljerad nivå och har testats oberoende för att fånga parafraserat och redigerat innehåll också. 

Den enda haken med Originality.ai är att det inte är helt gratis.

Plattformen erbjuder 12.000 tecken för nya användare, varefter ytterligare skanningar fungerar enligt ett kreditbaserat system.

Priset för AI-detektorn är 2.000 credits (1 credit motsvarar 100 ord) för $14,95 per månad.

Skribent.com

Writer.com levde inte riktigt upp till förväntningarna när det gäller AI-detektering, även om de har ett gott rykte om sig att producera AI-genererad text. 

Av fem textexempel identifierade den felaktigt två AI-skrivna exempel som skrivna av människor.

Det innebär att endast tre av de fem testresultaten var korrekta, vilket är en klar missräkning.

Writer.com har också meddelat att dess AI-detekteringsverktyg, tillsammans med dess API-slutpunkt, kommer att stängas ner den 22 december.

Fram till dess kommer den att fortsätta fungera som vanligt. Detta visar att företaget rör sig bort från AI-detekteringsutrymmet.

Monica

Det här var ytterligare ett av de verktyg som fungerade riktigt bra när vi testade det.

Monica identifierade korrekt varje mänskligt skrivet och AI-genererat prov utan ett enda fel, så du kan säkert lägga till det i din lista över pålitliga AI-detektorer. 

Företaget hävdar att det kombinerar AI-analytiska styrkor från ZeroGPT, GPTZero och Copyleaks till ett enhetligt verktyg.

Systemet är snarlikt Odetekterbar AI, som också kombinerar flera detektorer för autentisk AI-detektering.

Sapling AI-detektor

Sapling visar sig inte vara en tillförlitlig AI-detektor, eftersom den inte identifierade alla fem textexemplen korrekt.

Av våra stickprov identifierade Sapling 2 av mänskligt skrivet innehåll som 100% AI, vilket är helt fel.

Men det som sticker ut mest med Sapling är dess transparens. Företaget erkänner öppet att dess AI-detektor kan ge falska positiva resultat med korta texter.

Det står också att de aktivt arbetar med att förbättra systemet för att minska sådana fel.

De klargör också att ingen nuvarande AI-detektor, inklusive Saplings, ska användas som en fristående metod för att fastställa upphovsmannaskap.

Använd den AI-kontroll för att analysera hur tillförlitliga andra AI-detektorer faktiskt är.

Genom att testa exempeltexter med flera olika detekteringsverktyg och jämföra poäng för överensstämmelse hjälper AI Checker till att avslöja vilka system som felmärker eller överflaggar innehåll.

Det är ett snabbt och transparent sätt att mäta detektorernas noggrannhet innan man litar på deras resultat.

Vanliga metoder för AI-detektering förklaras

AI-detektering bygger inte på en universell formel.

Flera metoder har använts och validerats för att avgöra om en text är skriven av en människa eller av en AI.

Statistisk språkmodellering

Det här är den äldsta och mest använda metoden för att upptäcka AI-innehåll. Den bygger på en analys av sannolikheten för ordsekvenser, dvs. hur sannolikt det är att ett ord följer på ett annat.

AI-genererad text tenderar att ha lägre "perplexitet", så man kan säga att den är mer förutsägbar och konsekvent i sin struktur.

Människor, å andra sidan, skapar variationer i texten.

Innehållsdetektorer som använder den här metoden beräknar perplexitet och burstiness för att bedöma deras ursprung.

Metadata och vattenmärkning

Dessa mått är inriktade på hur texten genererades i stället för på dess struktur. 

Vattenmärkning innebär att osynliga signaler bäddas in i AI-utdata på token-nivå. Dessa mönster kan i princip bara upptäckas av specifika algoritmer. 

Metadatadetektering inspekterar kontextuella data som tidsstämplar, genereringshastighet och API-anropsmönster för att dra slutsatsen om AI var inblandat i skrivprocessen. 

Men återigen, när AI-genererad text redigeras försvinner dessa signaler, och därför fungerar de bara i kontrollerade testmiljöer. 

Klassificerare för maskininlärning

AI-detektorer förlitar sig alltmer på maskininlärningsklassificerare som är utbildade för att känna igen "texturen" i AI-skrift.

Dessa klassificerare analyserar tusentals språkliga och strukturella egenskaper i både mänskligt skrivna och AI-producerade skrivdataset.

Baserat på den analysen utvecklar de en probabilistisk modell för att märka ny text som AI, mänsklig eller hybrid.

Styrkan med detta tillvägagångssätt är att klassificerarna hela tiden kommer ikapp förändringen i tillvägagångssättet för nyare generativa AI-modeller.

Prova vår AI Detector och Humanizer i widgeten nedan!

Slutsats

För att svara på frågan "Är AI-detektorer korrekta?" Ja, flera verktyg är tillförlitligt korrekta, och Undetectable AI är ett av dem.

Det uppnådde 100% noggrannhet i alla AI- och mänskligt skrivna testprov.

Verktyget är också gratis att använda, till skillnad från många andra AI-detektorer som döljer sina bästa funktioner bakom betalväggar eller kreditbaserade system.

Undetectable AI:s fördel ligger i dess federerade detekteringsmodell, som kombinerar styrkorna hos flera ledande detektorer till ett enda, enhetligt system.

Den flerskiktade metoden minskar antalet falska positiva och falska negativa resultat avsevärt.

Så om du letar efter en pålitlig AI-detektor, Odetekterbar AI är den du ska prova!