Er AI-detektorer præcise? Sandheden bag værktøjerne

Alle AI-detektionsværktøjer, du støder på i dag, vil sandsynligvis prale af at være > 95% nøjagtige. Nogle siger endda, at de er 100% pålidelige! 

Men er AI-detektorer præcise? Er de virkelig det?

AI-modeller bliver konstant opdateret. Den nuværende version af ChatGPT er f.eks. meget mere nuanceret og kontekstbevidst end den version, vi så i 2022.

Så det er ret naturligt, at mange AI-detektorer vil have svært ved at stemple teksten som AI-genereret. 

Når det er sagt, er der unægtelig nogle værktøjer, der fungerer bedre end andre. Men for at finde ud af, hvilke der rent faktisk lever op til deres krav, er du nødt til at teste dem.

Det er præcis, hvad vi har gjort i denne artikel.

Vi evaluerede 10 af de mest populære AI-detektorer på det samme benchmark, som ZDNet bruger, for at se, hvor præcise AI-detektorer er. 

Her er, hvad vi fandt!

---

Det vigtigste at tage med

• AI-detektorer analyserer ordfrekvens, sætningsvariation og syntaks for at afgøre, om teksten er skrevet af et menneske eller genereret af AI.

• Mange værktøjers AI-detektion er ikke 100% idiotsikker, fordi meget af det, mennesker og AI skriver, har de samme grammatiske strukturer, hvilket fører til falske positiver og negativer.

• De tre vigtigste teknikker til nøjagtig registrering af AI-indhold er statistisk sprogmodellering, metadata og vandmærkning samt maskinlæringsklassifikatorer.

• Undetectable AI kombinerer flere detektionsalgoritmer i ét samlet system. Det tilbyder gratis og pålidelig AI-detektion uden de almindelige kompromiser med betalte værktøjer.

---

Hvad er AI-detektorer, og hvordan virker de?

AI-detektorer er værktøjer, der afgør, om et stykke tekst er skrevet af et menneske eller genereret af kunstig intelligens.

Systemet opdeler tekst i målbare funktioner og scanner derefter efter mønstre, der afslører maskinelt forfatterskab.

AI-genereret tekst har en tendens til at følge statistiske mønstre. Sprogmodeller er trænet til at forudsige det næste ord i en sekvens, så deres skrivning er bygget på sandsynligheder, der skaber subtile spor.

AI-detektorer opfanger disse spor gennem analyse af ordfrekvens, variation i sætningsstrukturen, syntaktisk kompleksitet og den overordnede tilfældighed (eller mangel på samme) i formuleringen.

De to vigtigste målinger, der bruges af AI-detektorer, er:

1. Forvirring: Det er et mål for, hvor "overrasket" en model er over det næste ord i en sætning. Menneskelig skrivning viser normalt højere forvirring, fordi folk afviger fra mønstre, bruger idiomer, indsætter følelser osv. i modsætning til AI-genereret skrivning.

2. Sprængthed: Den måler variationen i sætningslængde og rytme. Mennesker skriver naturligt med udbrud af korte, lange og ujævne sætninger, mens AI-skrevet indhold har en ensartet længde. 

Hvorfor det er så svært at opdage AI

På trods af forskellene mellem menneskelig og AI-skrivning er det lidt svært at opdage AI-genereret tekst, især når den er blevet redigeret. 

Her er nogle grunde til det. 

Ligheden mellem menneskelig og AI-skrivning

Skrivning i sin kerne, både menneskelig og AI-skrivning, bruger det samme sprogsystem med grammatik, tider, syntaks og formuleringer.

AI-modeller opfinder ikke sprog fra bunden.

De lærer simpelthen af det, som mennesker allerede har skrevet i årene forud for deres udvikling.

De datasæt, de trænes på, er i sagens natur skrevet af mennesker.

Så ethvert veludviklet AI-generationsværktøj vil internalisere menneskelige udtryksmønstre og forsøge at reproducere dem.

Jo mere data de bruger, jo mere "menneskelignende" bliver deres skrivning.

Falske positiver og falske negativer

AI-detektorer er ikke ufejlbarlige. 

En falsk positiv opstår, når en menneskeskrevet tekst fejlagtigt markeres som AI-genereret. 

I modsætning hertil sker der en falsk negativ, når AI-skrevet tekst slipper igennem uden at blive opdaget. 

Begge disse fejlmærkninger er ret almindelige.

Da mange AI-detektorer er afhængige af statistisk sandsynlighed snarere end faktuel sikkerhed, er deres nøjagtighed stadig begrænset.

Konstant modeludvikling

AI-detektion er et mål i bevægelse. Hver ny generation af sprogmodeller bliver sværere at opdage. 

Da ChatGPT først blev introduceret til offentlig brug i 2022, var svarene gentagne og ofte formelagtige.

Enhver AI-detektor i dag ville meget nemt fange den slags tekst som AI-skrevet. 

Men den seneste GPT-5-model producerer kontekstbevidst og følelsesmæssigt intelligent tekst.

Da kvaliteten af output bliver bedre og bedre, er det en udfordring at opdage en mere stilistisk mangfoldig AI-tekst.

Hvor præcise er AI-detektorer i dag?

Det ærlige svar på dette spørgsmål er, at det i høj grad afhænger af, hvilken detektor og hvilken detektionsmetode du tester. 

Nogle AI-detektionsværktøjer hævder næsten perfekte resultater i kontrollerede omgivelser, men når de udsættes for data fra den virkelige verden, bliver deres præstation rodet.

Benchmark ZDNet-undersøgelse evaluerede 11 AI-detektorer mod fem tekstprøver (tre genereret af ChatGPT, to af mennesker).

Ethvert værktøj, der markerede en prøve med > 70% AI-sandsynlighed, blev anset for at have "foretaget et opkald". 

Undersøgelsen viste, at Undetectable AI var et af de få værktøjer, der opnåede 100%-nøjagtighed, dvs. at det korrekt markerede alle fem prøver (både mennesker og AI) uden fejl.

Men er AI-indholdsdetektorer også præcise for hverdagsbrugere i det virkelige liv? 

Sagen er, at tekster fra den virkelige verden sjældent er "ren AI" eller "rent menneske".

Meget af det er redigeret, omskrevet indhold med tilsigtet støj, og med sådanne modstridende forhold falder nøjagtigheden af mange detektorer kraftigt.

A peer-reviewed undersøgelse på Copyleaks, TurnItIn og Originality fandt, at mens de "har høj nøjagtighed" på GPT-3.5 og menneskeligt indhold, kæmper de med at skelne mellem output på GPT-4-niveau.

Sammenligning af de 10 bedste AI-detektorer

For at finde ud af, hvad der er de mest nøjagtige AI-detektorer, satte vi flere værktøjer på prøve ved hjælp af ZDNets evalueringsmetode, dvs. ved hjælp af i alt fem teksteksempler: tre skrevet af ChatGPT og to af mennesker.

Her er en ChatGPT-prøve og en menneskeskrevet prøve, som vi brugte.

ChatGPT Tekst: 

Menneskelig skriftlig tekst:

Uopdagelig AI 

Det første værktøj, vi testede, var Uopdagelig AIog den bestod hver eneste test.

Alle fem tekstprøver blev korrekt identificeret som enten 100% skrevet af mennesker eller AI.

Platformen viste endda indikatorer, hvor andre detektorer måske havde hejst flag.

Systemet bruger flere detektoralgoritmer, der er modelleret efter mange forskellige AI-modeller (ChatGPT, Gemini, Claude, Llama og andre), men i stedet for at stole direkte på disse modeller har de bygget deres eget fødererede og konsensusbaserede system.

I bund og grund er hver algoritme trænet på mønstre fra disse detektorer, men kører uafhængigt for at producere en kollektiv vurdering.

Undetectable AI hævder også at "menneskeliggøre" AI-genereret tekst, så den undgår at blive opdaget, og ud fra vores resultater holdt den påstand imponerende godt.

GPTZero 

Dernæst testede vi GPTZero, som også levede op til vores benchmark for nøjagtighed og scorede over 80%-grænsen i alle fem prøver.

Den identificerede korrekt både menneskeskrevne stykker og to af de AI-genererede tekster med 100% sikkerhed.

Den eneste undtagelse var en AI-genereret prøve, som GPTZero kaldte 71% AI-genereret, men som stadig falder inden for det nøjagtige område efter vores kriterier.

Copyleaks 

Copyleaks leverede blandede resultater i vores test. Den snublede lige fra starten ved at fejlklassificere den første menneskeskrevne prøve som 100% AI-genereret.

Den markerede endda ni såkaldte "AI-overbrugte sætninger".

Men hver efterfølgende test var nøjagtig, dvs. den identificerede hver tekst i de resterende fire prøver som det, den var.

Denne uoverensstemmelse peger på, at Copyleaks af og til kan gå til yderligheder, som det skete med vores menneskeskrevne prøve.

Men når man ser på tværs af alle test, lå den i gennemsnit på omkring 80% nøjagtighed. 

Quillbot

QuillBot var et andet værktøj, der skilte sig ud i vores test, lige efter Undetectable AI. Det var det andet værktøj, der identificerede alle menneskeskrevne og AI-genererede tekster med 100%-nøjagtighed.

Det bemærkelsesværdige er, at QuillBot oprindeligt var kendt for sine parafraseringsevner.

Men AI-detektoren er også et raffineret analyseværktøj, der er i stand til at udpege sproglig konsistens, der afslører AI-forfatterskab.

Det er også værd at bemærke, at Quillbot ikke var særlig præcis i de første dage efter lanceringen, men den er bestemt blevet bedre med årene. I øjeblikket er det en af de få pålidelige AI-detektorer, du kan finde. 

ZeroGPT 

ZeroGPT's testresultater viste også god konsistens. 

Den første menneskeskrevne prøve blev betegnet som 0% AI-genereret, og den anden kom ind på 9,44% AI-genereret, begge komfortabelt inden for det acceptable område for ægte menneskelig skrivning.

Alle tre AI-genererede prøver blev på den anden side korrekt identificeret som 100% AI-skrevet. 

Så vores testrunde tilføjer også ZeroGPT til listen over pålidelige AI-detektorer. 

Grammatik

Grammarly er et kendt navn, når det gælder om at hjælpe skribenter med at producere grammatisk korrekt indhold, men det samme kan ikke siges om dens AI-detekteringsfunktioner.

I vores test viste Grammarlys detektor blandede og noget inkonsekvente resultater.

For de AI-genererede prøver markerede den dem som 92%, 81% og 54% AI-genereret, hvilket betyder, at den identificerede to korrekt, men fejlede i en test ved at undervurdere AI-sandsynligheden.

På de menneskeskrevne tekster fik den ret i den ene og fejlklassificerede den anden som AI.

Så man kan sige, at den var 60% præcis i vores analyse.

Originalitet.ai 

Originality.ai var også blandt de meget pålidelige AI-detektorer, da den scannede både de AI-genererede og de menneskeskrevne korrekt og gav 100% sikre resultater.

Originality.ai er en dedikeret AI- og plagiatdetekteringsplatform. Den analyserer tekster på et detaljeret niveau og er blevet testet uafhængigt for også at fange omskrevet og redigeret indhold. 

Den eneste hage ved Originality.ai er, at det ikke er helt gratis.

Platformen tilbyder 12.000 tegn til nye brugere, hvorefter yderligere scanninger fungerer på et kreditbaseret system.

AI-detektoren er prissat til 2.000 credits (1 credit svarer til 100 ord) for $14,95 pr. måned.

Forfatter.com

Writer.com levede ikke helt op til forventningerne til AI-detektion, selv om det har et godt ry for at producere AI-genereret tekst. 

Ud af fem tekstprøver identificerede den fejlagtigt 2 AI-skrevne prøver som menneskeskrevne.

Det betyder, at kun tre af de fem testresultater var nøjagtige, hvilket er en klar fejl.

Writer.com har også meddelt, at deres AI-detekteringsværktøj sammen med deres API-slutpunkt udløber den 22. december.

Indtil da vil den fortsætte med at fungere som normalt. Det viser, at virksomheden er på vej væk fra AI-detekteringsområdet.

Monica

Dette var endnu et af de værktøjer, der klarede sig rigtig godt under testen.

Monica identificerede korrekt alle menneskeskrevne og AI-genererede prøver uden en eneste fejl, så du kan roligt tilføje den til din liste over pålidelige AI-detektorer. 

Virksomheden hævder, at den kombinerer de analytiske AI-styrker fra ZeroGPT, GPTZero og Copyleaks i ét samlet værktøj.

Systemet svarer til Uopdagelig AIsom også kombinerer flere detektorer til autentisk AI-detektion.

Sapling AI-detektor

Sapling viser sig ikke at være en pålidelig AI-detektor, da den ikke kunne identificere alle fem teksteksempler.

Ud af vores prøver identificerede Sapling 2 af de menneskeskrevne tekster som 100% AI, hvilket er helt ved siden af.

Men det, der skiller sig mest ud ved Sapling, er dens gennemsigtighed. Virksomheden erkender åbent, at dens AI-detektor kan producere falske positiver med kort tekst.

Det fremgår også, at de aktivt arbejder på at forbedre systemet for at reducere sådanne fejl.

De præciserer også, at ingen nuværende AI-detektor, heller ikke Saplings, bør bruges som en selvstændig metode til at bestemme forfatterskab.

Brug AI-tjekker for at analysere, hvor pålidelige andre AI-detektorer faktisk er.

Ved at teste eksempeltekst gennem flere detektionsværktøjer og sammenligne konsistensscorer hjælper AI Checker med at afsløre, hvilke systemer der fejlmarkerer eller overmarkerer indhold.

Det er en hurtig og gennemsigtig måde at måle detektorernes nøjagtighed på, før man stoler på deres resultater.

Almindelige AI-opdagelsesmetoder forklaret

AI-detektion er ikke bygget på en universel formel.

Flere metoder er blevet brugt og valideret til at afgøre, om et stykke tekst er skrevet af et menneske eller af en kunstig intelligens.

Statistisk sprogmodellering

Dette er den ældste og mest udbredte metode til AI-indholdsdetektering. Den er baseret på en analyse af sandsynligheden for ordsekvenser, dvs. hvor sandsynligt det er, at et ord følger efter et andet.

AI-genereret tekst har en tendens til at have lavere "forvirring", så man kan sige, at den er mere forudsigelig og konsekvent i sin struktur.

Mennesker introducerer på den anden side variation i teksten.

Indholdsdetektorer, der bruger denne metode, beregner perplexitet og burstiness for at vurdere deres oprindelse.

Metadata og vandmærkning

Disse målinger er rettet mod, hvordan teksten blev genereret i stedet for dens struktur. 

Vandmærkning betyder, at man indlejrer usynlige signaler i AI-output på token-niveau. I bund og grund kan disse mønstre kun opdages af specifikke algoritmer. 

Metadatadetektion inspicerer kontekstuelle data som tidsstempler, genereringshastighed og API-opkaldsmønstre for at udlede, om AI var involveret i skriveprocessen. 

Men igen, når AI-genereret tekst redigeres, går disse signaler tabt, og derfor fungerer de kun i kontrollerede testmiljøer. 

Klassifikatorer til maskinlæring

AI-detektorer er i stigende grad afhængige af maskinlæringsklassifikatorer, der er trænet til at genkende "teksturen" i AI-skrift.

Disse klassifikatorer analyserer tusindvis af sproglige og strukturelle træk i både menneskeskrevne og AI-producerede skrivedatasæt.

Baseret på den analyse udvikler de en sandsynlighedsmodel til at mærke ny tekst som AI, menneske eller hybrid.

Styrken ved denne tilgang er, at klassifikatorerne bliver ved med at indhente ændringen i tilgangen til nyere generative AI-modeller.

Prøv vores AI Detector og Humanizer i widgetten nedenfor!

Konklusion

For at besvare spørgsmålet: "Er AI-detektorer nøjagtige?" Ja, flere værktøjer er pålideligt nøjagtige, og Undetectable AI er et af dem.

Den opnåede 100%-nøjagtighed på tværs af alle AI- og menneskeskrevne testprøver.

Værktøjet er også gratis at bruge, i modsætning til mange andre AI-detektorer, der skjuler deres bedste funktioner bag betalingsmure eller kreditbaserede systemer.

Undetectable AI's fordel ligger i dens fødererede detektionsmodel, som kombinerer styrken fra flere førende detektorer i et enkelt, samlet system.

Tilgangen med flere lag reducerer falske positiver og falske negativer betydeligt.

Så hvis du leder efter en pålidelig AI-detektor, Uopdagelig AI er den, du skal prøve!