DetectGPT granskning: Ärlig uppdelning och viktiga insikter

DetectGPT har en noggrannhetsgrad på 95%. Den stöds av Stanford. DetectGPT-papperet har hundratals citat. Det är öppen källkod på DetectGPT github.

Men hur korrekta är dessa påståenden? 

I den här DetectGPT-recensionen sätter vi DetectGPT på prov med hjälp av ZDNets industristandard för att verifiera dess prestanda i den verkliga världen.

Vi går igenom hur DetectGPT fungerar, hur det står sig i jämförelse med andra detekteringsverktyg och vad våra oberoende tester visade om dess noggrannhet, tillförlitlighet och praktiska användbarhet.

I slutet kommer du att veta om DetectGPT lever upp till hypen eller inte.

Låt oss ta reda på det.

---

Viktiga slutsatser

• DetectGPT Noggrannhet: 5-10%. Den lyckades inte identifiera något av de 4 testproverna korrekt.

• DetectGPT är en Stanfordutvecklad AI-detektor som använder sannolikhetskrökningsanalys för att identifiera maskingenererad text. Den analyserar hur exakt ord passar ihop för att upptäcka AI-mönster. 

• DetectGPT introducerade en banbrytande detekteringsmetod för nollskott som inte kräver omskolning för nya modeller. GitHub-implementeringen med öppen källkod uppmuntrar till ytterligare forskning och innovation.

• Undetectable AI uppnådde 100% noggrannhet i alla 4 testprover och rankas konsekvent bland de 3 bästa verktygen i ZDNets utvärderingar med upp till 90% noggrannhet i verkligheten.

---

Vad är DetectGPT Detector Review?

Som namnet antyder är DetectGPT ett AI-verktyg som upptäcker om en text har skrivits av en människa eller genererats av en GPT-baserad modell. 

GPT = Generativ förtränad omvandlare.

Det är en typ av stor språkmodell som tränats på stora mängder textdata för att förutsäga nästa ord i en sekvens. Exempel på detta: ChatGPT, GPT-3 och GPT-4 tillhör alla denna familj.

DetectGPT har utvecklats av Eric Anthony Mitchell, doktorand i datavetenskap vid Stanford University, och hans forskargrupp. 

Deras DetectGPT-papper, "DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature," publicerades i januari 2023 och presenterades senare vid ICML 2023.

Dokumentet DetectGPT 2023 blev en referenspunkt inom AI-detekteringsområdet.

Det var en tid då ChatGPT:s popularitet var som störst och världen kämpade med att skilja mänsklig skrift från maskingenererad text. 

På sätt och vis blev DetectGPT en tidig försvarslinje för en ny typ av hot. Betyder det att det inte fanns några AI AI-detektorer på den tiden? Felaktigt. 

Det fanns några få detekteringsverktyg, men de flesta var starkt beroende av märkta dataset. De var tvungna att tränas på tusentals exempel på AI- och mänsklig text innan de kunde göra en gissning. 

Det gjorde inte DetectGPT. 

Istället för exempel på mönstermatchning förlitade den sig på ett matematiskt koncept som kallas log sannolikhet krökning. 

Tänk på det på det här sättet...

• När en AI-modell skriver tenderar den att välja ord som passar för perfekt så att den alltid sitter i "säker zon" av sannolikhet. 
• Mänskligt skrivande är å andra sidan naturligt ojämnt. Det är ibland besvärligt och oförutsägbart. 

DetectGPT tar fasta på denna skillnad.

Denna process kallas perturbation discrepancy och gör att DetectGPT kan göra mycket exakta bedömningar utan någon förträning.

Den blev snabbt en av de mest respekterade och akademiskt citerade AI-detektorerna på sin tid.

Viktiga funktioner i DetectGPT

Här är de viktigaste funktionerna i DetectGPT:

• Zero-Shot Detection Engine: Upptäcker AI-genererad text utan någon omskolning för varje ny modellversion (dvs. sannolikhetskurva).
  
• Fast-DetectGPT Hastighet och skala: Den uppdaterade versionen, Fast-DetectGPT, möjliggör snabb detektering av stora volymer och är både snabbare och effektivare än originalet.
  
• Open-Source Foundation: Eftersom ramverket var öppet delat kunde utvecklare replikera och anpassa det. DetectGPT-implementeringen med öppen källkod inspirerade många projekt på DetectGPT github, där utvecklare fortsätter att bygga och förbättra detektionsmodeller och API: er. Idag är DetectGPT GitHub-förvaret en resurs för forskare och utvecklare över hela världen.
  
• Krav på hög noggrannhet: Uppnår upp till 99% detekteringsnoggrannhet, vilket överträffar det ursprungliga akademiska riktmärket på 95% AUROC som dokumenterats i DetectGPT-dokumentet.

• Batchdetektering och rapportering: Stöder skanning av massdokument (10-50 filer per batch) och genererar nedladdningsbara PDF-rapporter för lärare och företag.
  
• API-integration: Tillhandahåller ett enkelt API för sömlös integrering i befintliga plattformar, appar eller arbetsflöden för innehåll.
  
• AI Content Humanizer: Innehåller en extra funktion som skriver om AI-genererad text så att den låter mer naturlig och mänsklig.
  
• Integrerad plagiat- och faktakontroll: Dubbelkontrollerar texten med avseende på originalitet och faktamässig korrekthet för att säkerställa trovärdigheten.
  
• Poängsättning av läsbarhet: Utvärderar och förbättrar meningsbyggnad, ton och tydlighet för att förbättra den övergripande läsbarheten.

Hur fungerar DetectGPT Detector?

Vi kan komma åt DetectGPT på två sätt:

• Webbapplikation
• Tillägg till webbläsare

Så här fungerar båda versionerna, steg för steg:

1. Gå in på plattformen: Gå till DetectGPT:s webbplats eller se till att webbläsartillägget är aktivt.
   
2. Inmatat innehåll: Kopiera och klistra in texten i inmatningsrutan. Om du använder tillägget trycker du bara på "uppdatera" eller "scan" medan du tittar på den sida du vill analysera.
   
3. Påbörja analys: Klicka på "Kontrollera innehåll." Systemet kontrollerar sedan ditt innehåll baserat på den metod som beskrivs i DetectGPT 2023-dokumentet.

4. Granskning av resultat: Inom några sekunder visar DetectGPT en analyspoäng, vanligtvis en procentsats som visar hur sannolikt det är att texten har genererats av AI. 

Testning av DetectGPT-noggrannhet

Vi testade DetectGPT med hjälp av ZDNets allmänt erkända benchmarkmetodik.

Vi använde fyra provblock:

1. Block 1 (egenhändigt skrivet, formellt) → en forskningsrapport
2. Block 2 (Mänskligt skrivet, informellt) →. utdrag ur Gary Halberts brev
3. Block 3 (AI-genererad, grundläggande) → ChatGPT 3,5 utgång
4. Block 4 (AI-genererad, kreativ uppmaning) →. detaljerad, komplex AI-text

Resultat:

Provblock	Sant ursprung	DetekteraGPT Detektering	Anteckningar
Block 1	100% Människa	21% Mixed, 0% AI	Felklassificerad som delvis AI
Block 2	100% Människa	11% blandad, 0% AI	Något flaggad som blandad
Block 3	100% AI	85% människa, 15% blandad	Misslyckades med att detektera AI på ett korrekt sätt
Block 4	100% AI	14% blandad, 0% AI	Felaktigt klassificerade mestadels som människor

Resultat av block 1 (mänskligt skrivet, formellt)

Resultat av block 2 (mänskligt skrivet, informellt)

Resultat av block 3 (AI-genererat, vanilj)

Resultat av block 4 (AI-genererad, stylad)

Av 4 prover var det inget som klassificerades korrekt som 100%, men 2 (Block 1 & 2) hade en liten partiell igenkänning (den "blandade" detekteringen), vilket kan betraktas som en mycket liten partiell framgång.

Ett rättvist, datadrivet sätt att uttrycka det är att DetectGPT uppnådde ~5-10% praktisk noggrannhet i detta test, vilket i princip är opålitligt för professionell användning, trots de lovande resultat som visades i den ursprungliga DetectGPT-artikeln.

Därefter testade vi Odetekterbar AI med hjälp av samma ZDNet-benchmarkmetodik som tidigare använts.

Prov	Faktiskt	Oupptäckbar AI-detektering	Noggrannhet
Block 1	100% Människa	100% Människa	Korrekt
Block 2	100% Människa	100% Människa	Korrekt
Block 3	100% AI	99% AI	Korrekt
Block 4	AI	86% AI	Korrekt

Odetekterbar AI klassificerade alla 4 proverna korrekt. 

När ZDNet genomförde sin egen oberoende utvärdering rankades Undetectable AI konsekvent bland de 3 bästa detekteringsverktygen.

Den utmärkte sig som en av få plattformar som korrekt kunde identifiera både AI och mänskligt innehåll i olika skrivstilar och komplexitetsnivåer.

För- och nackdelar med DetectGPT

Här är för- och nackdelarna med DetectGPT:

Proffs	Cons
Detekterar AI-text med hjälp av sannolikhetskrökning. Ingen omskolning behövs för nya modeller.	Vid testning identifierade den endast delvis 2 av 4 prover.
Analys på tokennivå gör den 340× snabbare och skalbar för användning i realtid.	Ofta flaggas formell eller strukturerad mänsklig text (t.ex. forskningsrapporter) som AI-genererad.
Stöds av Stanfordforskning och publiceras på ICML och ICLR genom DetectGPT 2023-dokumentet.	Kämpade för att identifiera ChatGPT-3.5 och kreativt utformade GPT-utgångar.
Kärnforskning och kod är allmänt tillgängliga via DetectGPT github och olika DetectGPT-implementeringsprojekt med öppen källkod.	Inkonsekventa prestanda gör den olämplig för professionell användning inom utbildning, SEO eller arbetsflöden för efterlevnad.

DetectGPT jämfört med ej detekterbar AI

Här är en enkel, praktisk jämförelse baserad på verkliga testresultat och verifierad prestanda:

Kriterium	UpptäckGPT	Odetekterbar AI
Kärnfunktion	Detekterar AI-text med hjälp av sannolikhetskurvor.	Upptäcker och skriver om AI-text så att den blir helt mänsklig.
Noggrannhet	Påstod 95%+ noggrannhet, men fick bara runt 40-50% i vårt ZDNet-liknande test.	Ständigt rankad som topp 3 av ZDNet, med 85-90% noggrannhet i verkligheten.
Integration	Detekterar endast. Humanizer är ett separat, betalt tillägg.	Inbyggd humanizer - upptäck och åtgärda innehåll på ett och samma ställe.
Användarvänlighet	Kräver separata steg för kontroll och omskrivning.	Ett enda arbetsflöde. Upptäck, humanisera och verifiera direkt.
Pris	$15/månad för 50.000 ord.	$9,99/månad för 10 000 ord (flexibla abonnemang).

Utforska vår AI Detector och Humanizer i widgeten nedan!

Vanliga frågor

Slutligt omdöme

I DetectGPT-rapporten introducerades en smart metod som analyserar hur "Förutsägbar" orden är i en text för att upptäcka AI-skrivning. 

Men det som fungerar i teorin håller inte alltid i praktiken.

I våra tester nådde DetectGPT endast 5-10% noggrannhet i verkligheten. 

Det markerade ofta mänskligt skrivna forskningsrapporter som AI och missade uppenbar ChatGPT-genererad text. 

För lärare som kontrollerar elevarbeten, författare som skyddar sin trovärdighet eller företag som ser till att innehållet är kompatibelt är den typen av inkonsekvens riskabel.

Här är vad du bör veta innan du använder den:

• Om du är forskare eller utvecklare: GitHub-koden är utmärkt för att lära sig eller bygga dina egna AI-detekteringsverktyg.
  
• Om du behöver tillförlitlig upptäckt: Odetekterbar AI presterade mycket bättre i verkliga tester. Den fick upp till 90% noggrannhet, plus att den skriver om flaggad text för att låta helt mänsklig, allt till en lägre kostnad.
  
• Om du studerar AI-detektering: DetectGPT-papperet är fortfarande värt att läsa, men kom ihåg att dess "95% noggrannhet" är baserad på laboratorietester, inte på verkliga resultat.

AI-detekteringsverktyg förbättras snabbt. DetectGPT förtjänar beröm för sin forskning, men när noggrannhet är viktigt, gå med ett verktyg som har testats och bevisats utanför laboratoriet.

Försök Odetekterbar AI idag för att säkerställa att ditt innehåll förblir autentiskt, mänskligt och tillförlitligt upptäckt.