DetectGPT har en nøjagtighedsgrad på 95%. Den er støttet af Stanford. DetectGPT-papiret har hundredvis af citater. Den er open source på DetectGPT github.
Men hvor præcise er disse påstande?
I denne DetectGPT-anmeldelse sætter vi DetectGPT på prøve ved hjælp af ZDNets industristandard-benchmark for at verificere dens ydeevne i den virkelige verden.
Vi gennemgår, hvordan DetectGPT fungerer, hvordan det sammenlignes med andre detektionsværktøjer, og hvad vores uafhængige test afslørede om dets nøjagtighed, pålidelighed og praktiske anvendelighed.
Til sidst vil du vide, om DetectGPT lever op til hypen eller ej.
Lad os finde ud af det.
Det vigtigste at tage med
- DetectGPT-nøjagtighed: 5-10%. Den kunne ikke identificere nogen af de 4 testprøver korrekt.
- DetectGPT er en Stanford-udviklet AI-detektor, der bruger sandsynlighedskurveanalyse til at identificere maskingenereret tekst. Den analyserer, hvor præcist ord passer sammen for at spotte AI-mønstre.
- DetectGPT introducerede en banebrydende detektionsmetode med nul skud, der ikke kræver omskoling til nye modeller. Open-source GitHub-implementeringen tilskynder til yderligere forskning og innovation.
- Undetectable AI opnåede 100%-nøjagtighed på tværs af alle 4 testprøver og rangerer konsekvent blandt de 3 bedste værktøjer i ZDNets evalueringer med op til 90%-nøjagtighed i den virkelige verden.
Hvad er DetectGPT Detector Review?
Som navnet antyder, er DetectGPT et AI-værktøj, der registrerer, om et stykke tekst er skrevet af et menneske eller genereret af en GPT-baseret model.
GPT = Generativ fortrænet transformer.
Det er en type stor sprogmodel, der er trænet på store mængder tekstdata til at forudsige det næste ord i en sekvens. Et eksempel: ChatGPT, GPT-3 og GPT-4 tilhører alle denne familie.
Du skal aldrig bekymre dig om, at AI opdager dine tekster igen. Undetectable AI Kan hjælpe dig:
- Få din AI-assisterede skrivning til at fremstå Menneskelignende.
- Bypass alle større AI-detektionsværktøjer med bare ét klik.
- Brug AI sikkert og selvsikkert i skolen og på arbejdet.
DetectGPT er udviklet af den datalogistuderende Eric Anthony Mitchell fra Stanford University og hans forskerteam.
Deres DetectGPT-artikel, "DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature". blev udgivet i januar 2023 og senere præsenteret på ICML 2023.
DetectGPT 2023-papiret blev et referencepunkt inden for AI-detektion.
Det var en tid, hvor ChatGPT's popularitet var på sit højeste, og verden kæmpede med at skelne mellem menneskelig skrift og maskingenereret tekst.
På en måde blev DetectGPT en tidlig forsvarslinje for en ny slags trussel. Betyder det så, at der ikke var nogen AI-detektorer dengang? Nej, det er forkert.
Der fandtes nogle få detektionsværktøjer, men de fleste var stærkt afhængige af mærkede datasæt. De skulle trænes på tusindvis af eksempler på AI og menneskelig tekst, før de kunne komme med et gæt.
Det gjorde DetectGPT ikke.
I stedet for eksempler på mønstermatchning baserede den sig på et matematisk koncept kaldet log sandsynlighed krumning.
Tænk på det på denne måde...
- Når en AI-model skriver, har den en tendens til at vælge ord, der passer for perfekt, så den altid sidder i "sikker zone" af sandsynlighed.
- Menneskelig skrivning er på den anden side naturligt ujævn. Den er nogle gange akavet og uforudsigelig.
DetectGPT opfanger den forskel.
Denne proces kaldes perturbation discrepancy og gør det muligt for DetectGPT at foretage meget præcise vurderinger uden forudgående træning.
Den blev hurtigt en af de mest respekterede og akademisk citerede AI-detektorer i sin tid.
Nøglefunktioner i DetectGPT
Her er de vigtigste funktioner i DetectGPT:
- Zero-Shot Detection Engine: Registrerer AI-genereret tekst uden omskoling for hver ny modeludgivelse (dvs. sandsynlighedskurve).
- Fast-DetectGPT Hastighed og skala: Den opdaterede version, Fast-DetectGPT, giver mulighed for hurtig detektion af store mængder, hvilket er både hurtigere og mere effektivt end originalen.
- Open-Source Foundation: Da rammerne blev delt åbent, kunne udviklere kopiere og tilpasse dem. Open source-implementeringen af DetectGPT inspirerede mange projekter på DetectGPT github, hvor udviklere fortsætter med at bygge og forbedre detektionsmodeller og API'er. I dag er DetectGPT GitHub repository en ressource for forskere og udviklere over hele verden.
- Krav om høj nøjagtighed: Opnår op til 99% detektionsnøjagtighed, hvilket overgår det oprindelige akademiske benchmark på 95% AUROC som dokumenteret i DetectGPT-papiret.
- Batchdetektering og -rapportering: Understøtter massescanning af dokumenter (10-50 filer pr. batch) og genererer PDF-rapporter, der kan downloades, til undervisere og virksomheder.
- API-integration: Giver en enkel API til problemfri integration i eksisterende platforme, apps eller indholdsworkflows.
- AI Content Humanizer: Indeholder en ekstra funktion, der omskriver AI-genereret tekst, så den lyder mere naturlig og menneskelignende.
- Integreret plagiat- og faktatjek: Krydstjekker teksten for originalitet og faktuel nøjagtighed for at sikre troværdighed.
- Scoring af læsbarhed: Evaluerer og forbedrer sætningsflow, tone og klarhed for at forbedre den overordnede læsbarhed.
Hvordan fungerer DetectGPT Detector?
Vi kan få adgang til DetectGPT på to måder:
- Web-app
- Browser-udvidelse
Her kan du se, hvordan begge versioner typisk fungerer, trin for trin:
- Få adgang til platformen: Gå til DetectGPT's hjemmeside, eller sørg for, at browserudvidelsen er aktiv.
- Indhold af input: Kopier og indsæt teksten i indtastningsfeltet. Hvis du bruger udvidelsen, skal du bare trykke på "opdater" eller "scan" mens du ser på den side, du vil analysere.
- Påbegynd analyse: Klik på "Tjek indhold." Systemet kontrollerer derefter dit indhold baseret på den metode, der er beskrevet i DetectGPT 2023-papiret.
- Gennemgå resultater: Inden for få sekunder viser DetectGPT en analysescore, som regel en procentdel, der viser, hvor sandsynligt det er, at teksten er genereret af AI.
Test af DetectGPT-nøjagtighed
Vi testede DetectGPT ved hjælp af ZDNets bredt anerkendte benchmarkmetode.
Vi brugte fire prøveblokke:
- Blok 1 (Menneskeskrevet, formel) →. en forskningsartikel
- Blok 2 (Menneskeskrevet, uformel) →. Uddrag af Gary Halberts breve
- Blok 3 (AI-genereret, basal) →. ChatGPT 3.5 output
- Blok 4 (AI-genereret, kreativ opfordring) →. detaljeret, kompleks AI-tekst
Resultater:
| Eksempel på blok | Ægte oprindelse | DetectGPT-detektion | Noter |
| Blok 1 | 100% menneske | 21% blandet, 0% AI | Fejlklassificeret som delvist AI |
| Blok 2 | 100% menneske | 11% blandet, 0% AI | Lidt markeret som blandet |
| Blok 3 | 100% AI | 85% menneske, 15% blandet | Kunne ikke registrere AI præcist |
| Blok 4 | 100% AI | 14% blandet, 0% AI | Forkert klassificeret, mest som mennesker |
Resultat af blok 1 (menneskeskrevet, formel)
Resultat af blok 2 (menneskeskrevet, uformel)
Resultat af blok 3 (AI-genereret, vanilje)
Resultat af blok 4 (AI-genereret, stylet)
Ud af 4 prøver blev ingen korrekt klassificeret som 100%, men 2 (blok 1 og 2) havde en lille delvis genkendelse (den "blandede" detektion), hvilket kan betragtes som en meget lille delvis succes.
En fair, datadrevet måde at sige det på er, at DetectGPT opnåede ~5-10% praktisk nøjagtighed i denne test, hvilket i bund og grund er upålideligt til professionel brug på trods af de lovende resultater, der blev vist i den oprindelige DetectGPT-artikel.
Dernæst testede vi Uopdagelig AI ved hjælp af den samme ZDNet-benchmarkmetode, som blev anvendt tidligere.
| Prøve | Faktisk | Uopdaget AI-detektion | Nøjagtighed |
| Blok 1 | 100% menneske | 100% menneske | Korrekt |
| Blok 2 | 100% menneske | 100% menneske | Korrekt |
| Blok 3 | 100% AI | 99% AI | Korrekt |
| Blok 4 | AI | 86% AI | Korrekt |
Uopdagelig AI klassificerede alle 4 prøver præcist.
Da ZDNet gennemførte sin egen uafhængige evaluering, rangerede Undetectable AI konsekvent blandt de tre bedste detektionsværktøjer.
Den skilte sig ud som en af de få platforme, der var i stand til korrekt at identificere både AI og menneskeligt indhold på tværs af forskellige skrivestile og kompleksitetsniveauer.
Fordele og ulemper ved DetectGPT
Her er fordele og ulemper ved DetectGPT:
| Fordele | Ulemper |
| Registrerer AI-tekst ved hjælp af sandsynlighedskrumning. Ingen omskoling nødvendig for nye modeller. | I test identificerede den kun delvist 2 ud af 4 prøver. |
| Analyse på tokniveau gør den 340× hurtigere og skalerbar til brug i realtid. | Markerer ofte formel eller struktureret menneskelig tekst (som forskningsartikler) som AI-genereret. |
| Understøttet af Stanford-forskning og offentliggjort på ICML og ICLR gennem DetectGPT 2023-papiret. | Havde svært ved at identificere ChatGPT-3.5 og kreativt udformede GPT-output. |
| Kerneforskning og kode er offentligt tilgængelig via DetectGPT github og forskellige DetectGPT open source-implementeringsprojekter. | Inkonsekvent ydeevne gør den uegnet til professionel brug inden for uddannelse, SEO eller compliance-arbejdsgange. |
DetectGPT vs Uopdaget AI
Her er en enkel, praktisk sammenligning baseret på reelle testresultater og verificeret ydeevne:
| Kriterium | OpdagGPT | Uopdagelig AI |
| Kernefunktion | Registrerer AI-tekst ved hjælp af sandsynlighedskurver. | Registrerer og omskriver AI-tekst, så den bliver helt menneskelig. |
| Nøjagtighed | Påstod 95%+ nøjagtighed, men scorede kun omkring 40-50% i vores ZDNet-lignende test. | Konsekvent rangeret i Top 3 af ZDNet med 85-90% nøjagtighed i den virkelige verden. |
| Integration | Opdager kun. Humanizer er en separat, betalt tilføjelse. | Indbygget humanizer - opdag og ret indhold på ét sted. |
| Brugervenlighed | Kræver separate trin til kontrol og omskrivning. | En enkelt arbejdsgang. Opdag, menneskeliggør og bekræft med det samme. |
| Pris | $15/måned for 50.000 ord. | $9,99/måned for 10.000 ord (fleksible planer). |
Udforsk vores AI Detector og Humanizer i widgetten nedenfor!
Ofte stillede spørgsmål
Hvad er DetectGPT?
DetectGPT, der er udviklet på Stanford University, opdager AI-skrevet tekst ved at analysere dens statistiske forudsigelighed (log-sandsynlighedskurve).
Det er en zero-shot-metode, hvilket betyder, at den fungerer uden omskoling for hver ny AI-model.
Er DetectGPT gratis at bruge?
Kerneforskningen og open source-koden er gratis på GitHub. Men den kommercielle version med AI Humanizer, Plagiarism Checker og højere grænser koster $15/måned for 50.000 ord.
Kan DetectGPT opdage indhold fra GPT-3 og ChatGPT?
Vores test viste, at den ikke kunne identificere ChatGPT 3.5-output. Den klassificerede det som 85% menneske i stedet for AI-genereret, hvilket gør den upålidelig til dette specifikke formål.
Endelig dom
DetectGPT-artiklen introducerede en smart nul-shot-metode, der analyserer, hvordan "Forudsigelig" ord i en tekst for at spotte AI-skrivning.
Men det, der virker i teorien, holder ikke altid i praksis.
I vores test opnåede DetectGPT kun en nøjagtighed på 5-10% i den virkelige verden.
Den markerede ofte menneskeskrevne forskningsartikler som AI og overså åbenlys ChatGPT-genereret tekst.
For lærere, der kontrollerer elevers arbejde, forfattere, der beskytter deres troværdighed, eller virksomheder, der sørger for, at indholdet er i overensstemmelse med reglerne, er den slags inkonsekvenser risikable.
Her er, hvad du skal vide, før du bruger det:
- Hvis du er forsker eller udvikler: GitHub-koden er fantastisk til at lære eller bygge dine egne AI-detektionsværktøjer.
- Hvis du har brug for pålidelig detektion: Undetectable AI klarede sig langt bedre i tests i den virkelige verden. Den scorede op til 90% nøjagtighed, og den omskriver markeret tekst, så den lyder helt menneskelig, alt sammen til en lavere pris.
- Hvis du studerer AI-detektion: DetectGPT-artiklen er stadig værd at læse, men husk, at den "95%-nøjagtighed" er baseret på laboratorietest, ikke resultater fra den virkelige verden.
Værktøjer til AI-detektion bliver hurtigt bedre. DetectGPT fortjener ros for sin forskning, men når nøjagtighed er vigtig, skal du vælge et værktøj, der er blevet testet og afprøvet uden for laboratoriet.
Forsøg Uopdagelig AI i dag for at sikre, at dit indhold forbliver autentisk, menneskelignende og pålideligt opdaget.