Recenzie DetectGPT: Defalcare onestă și informații cheie

DetectGPT are o rată de precizie de 95%. Este susținută de Stanford. Lucrarea DetectGPT are sute de citări. Este open source pe github DetectGPT.

Dar cât de exacte sunt aceste afirmații? 

În această recenzie DetectGPT, vom testa DetectGPT folosind benchmark-ul standard din industrie al ZDNet pentru a verifica performanța sa în lumea reală.

Vom explica cum funcționează DetectGPT, cum se compară cu alte instrumente de detectare și ce au relevat testele noastre independente cu privire la acuratețea, fiabilitatea și utilitatea sa practică.

Până la sfârșit, veți ști dacă DetectGPT se ridică la înălțimea așteptărilor sau nu.

Să aflăm.

---

Principalele concluzii

• DetectGPT Precizie: 5-10%. Nu a reușit să identifice corect niciunul dintre cele 4 eșantioane de testare.

• DetectGPT este un detector AI dezvoltat la Stanford care utilizează analiza curburii probabilității pentru a identifica textul generat de mașină. Acesta analizează cât de precis se potrivesc cuvintele între ele pentru a detecta modelele AI. 

• DetectGPT a introdus o metodă de pionierat de detectare a loviturilor zero care nu necesită reantrenare pentru modele noi. Implementarea GitHub open-source încurajează cercetarea și inovarea viitoare.

• Undetectable AI a obținut o acuratețe de 100% în toate cele 4 eșantioane de testare și se clasează constant printre primele 3 instrumente în evaluările ZDNet, cu o acuratețe de până la 90% în lumea reală.

---

Ce este recenzia detectorului DetectGPT?

După cum sugerează și numele, DetectGPT este un instrument AI care detectează dacă o bucată de text a fost scrisă de un om sau generată de un model bazat pe GPT. 

GPT = transformator generativ preformat.

Este un tip de model lingvistic de mari dimensiuni antrenat pe cantități mari de date text pentru a prezice următorul cuvânt dintr-o secvență. Exemple: ChatGPT, GPT-3 și GPT-4 fac parte din această familie.

DetectGPT a fost dezvoltat de Eric Anthony Mitchell, absolvent de informatică la Universitatea Stanford, și de echipa sa de cercetare. 

Lucrarea lor DetectGPT, "DetectGPT: Detectarea textului generat de mașină Zero-Shot utilizând curbura probabilității," a fost publicat în ianuarie 2023 și prezentat ulterior la ICML 2023.

Documentul DetectGPT 2023 a devenit un punct de referință în domeniul detectării IA.

Era o perioadă în care popularitatea ChatGPT era la apogeu, iar lumea se străduia să deosebească scrisul uman de textul generat de mașină. 

Într-un fel, DetectGPT a devenit o primă linie de apărare pentru un nou tip de amenințare. Așadar, asta înseamnă că nu existau detectoare de inteligență artificială atunci? Greșit. 

Existau câteva instrumente de detectare, dar majoritatea se bazau foarte mult pe seturi de date etichetate. Acestea trebuiau să fie antrenate pe mii de exemple de AI și text uman înainte de a putea face o presupunere. 

DetectGPT nu a făcut-o. 

În loc de exemple de potrivire a modelelor, se bazează pe un concept matematic numit log probabilitate curbură. 

Gândiți-vă în felul următor...

• Atunci când un model AI scrie, acesta tinde să aleagă cuvinte care se potrivesc prea perfect, astfel încât să stea mereu în "zonă sigură" de probabilitate. 
• Scrisul uman, pe de altă parte, este în mod natural inegal. Uneori este ciudată și imprevizibilă. 

DetectGPT sesizează această diferență.

Acest proces se numește discrepanță de perturbare și permite DetectGPT să facă judecăți extrem de precise fără nicio pregătire prealabilă.

Acesta a devenit rapid unul dintre cele mai respectate și mai citate detectoare de inteligență artificială ale timpului său.

Principalele caracteristici ale DetectGPT

Iată care sunt caracteristicile principale ale DetectGPT:

• Motor de detecție Zero-Shot: Detectează textul generat de inteligența artificială fără nicio reantrenare pentru fiecare versiune nouă a modelului (de exemplu, curba de probabilitate).
  
• Fast-DetectGPT Speed & Scale: Versiunea actualizată, Fast-DetectGPT, permite detectarea rapidă, în volum mare, care este atât mai rapidă, cât și mai eficientă decât versiunea originală.
  
• Fundația Open-Source: Deoarece cadrul său a fost partajat în mod deschis, dezvoltatorii au putut să îl reproducă și să îl adapteze. Implementarea cu sursă deschisă DetectGPT a inspirat multe proiecte pe DetectGPT github, unde dezvoltatorii continuă să construiască și să îmbunătățească modelele de detectare și API-urile. Astăzi, depozitul DetectGPT GitHub este o resursă pentru cercetători și dezvoltatori din întreaga lume.
  
• Pretenții de precizie ridicată: Atinge o precizie de detecție de până la 99%, depășind reperul academic original de 95% AUROC, așa cum este documentat în lucrarea DetectGPT.

• Detectarea și raportarea loturilor: Suportă scanarea în masă a documentelor (10-50 de fișiere pe lot) și generează rapoarte PDF descărcabile pentru educatori și întreprinderi.
  
• Integrare API: Oferă un API simplu pentru integrarea fără probleme în platforme, aplicații sau fluxuri de lucru de conținut existente.
  
• AI Content Humanizer: Include o caracteristică suplimentară care rescrie textul generat de AI pentru a suna mai natural și mai uman.
  
• Plagiat integrat și verificare a faptelor: Verifică textul din punct de vedere al originalității și al acurateței faptelor pentru a asigura credibilitatea.
  
• Notarea lizibilității: Evaluează și îmbunătățește fluxul propozițiilor, tonul și claritatea pentru a îmbunătăți lizibilitatea generală.

Cum funcționează detectorul DetectGPT?

Putem accesa DetectGPT în două moduri:

• Aplicație web
• Extensie browser

Iată cum funcționează de obicei ambele versiuni, pas cu pas:

1. Accesați platforma: Accesați site-ul DetectGPT sau asigurați-vă că extensia de browser este activă.
   
2. Conținut de intrare: Copiați și lipiți textul în caseta de introducere. Dacă utilizați extensia, trebuie doar să apăsați "refresh" sau "scanare" în timp ce vizualizați pagina pe care doriți să o analizați.
   
3. Inițierea analizei: Faceți clic pe "Verificați conținutul." Sistemul verifică apoi conținutul dvs. pe baza metodologiei descrise în documentul DetectGPT 2023.

4. Rezultatele revizuirii: În câteva secunde, DetectGPT afișează un scor de analiză, de obicei un procent care arată cât de probabil este ca textul să fi fost generat de AI. 

Testarea acurateței DetectGPT

Am testat DetectGPT folosind metodologia de benchmark recunoscută pe scară largă a ZDNet.

Am folosit patru blocuri de probe:

1. Blocul 1 (scris uman, formal) → o lucrare de cercetare
2. Blocul 2 (scris uman, informal) → Extras din scrisorile lui Gary Halbert
3. Blocul 3 (generat de AI, de bază) → ChatGPT 3.5 ieșire
4. Blocul 4 (generat de AI, Prompt creativ) → text AI detaliat, complex

Rezultate:

Bloc de probă	Originea adevărată	DetectareGPT Detectare	Note
Blocul 1	100% Uman	21% mixt, 0% AI	Clasificat greșit ca parțial AI
Blocul 2	100% Uman	11% mixt, 0% AI	Ușor marcat ca mixt
Blocul 3	100% AI	85% uman, 15% mixt	Nu a reușit să detecteze cu acuratețe IA
Blocul 4	100% AI	14% mixt, 0% AI	Clasificate incorect, majoritatea ca fiind umane

Rezultatul blocului 1 (scris de om, formal)

Rezultatul blocului 2 (scris de om, informal)

Rezultatul blocului 3 (generat de AI, vanilie)

Rezultatul blocului 4 (generat de AI, stilizat)

Din cele 4 probe, niciuna nu a fost clasificată corect 100%, dar 2 (blocurile 1 și 2) au avut o recunoaștere parțială mică (detecția "mixtă"), ceea ce poate fi considerat un succes parțial foarte minor.

O modalitate corectă, bazată pe date, de a afirma acest lucru este că DetectGPT a obținut o precizie practică de ~5-10% în acest test, care este în esență nesigură pentru utilizarea profesională, în ciuda rezultatelor promițătoare prezentate în lucrarea originală DetectGPT.

În continuare, am testat AI nedetectabil folosind aceeași metodologie de referință ZDNet aplicată anterior.

Mostră	Actual	Detectare AI nedetectabilă	Precizie
Blocul 1	100% Uman	100% Uman	Corect
Blocul 2	100% Uman	100% Uman	Corect
Blocul 3	100% AI	99% AI	Corect
Blocul 4	AI	86% AI	Corect

AI nedetectabil a clasificat cu acuratețe toate cele 4 probe. 

Când ZDNet a efectuat propria evaluare independentă, Undetectable AI s-a clasat în mod constant în Top 3 instrumente de detectare.

A ieșit în evidență ca fiind una dintre puținele platforme capabile să identifice corect atât conținutul AI, cât și cel uman, în diverse stiluri de scriere și niveluri de complexitate.

Avantaje și dezavantaje ale DetectGPT

Iată care sunt avantajele și dezavantajele DetectGPT:

Pro	Contra
Detectează textul AI folosind curbura probabilității. Nu este nevoie de reantrenare pentru modele noi.	În timpul testării, acesta a identificat doar parțial 2 din 4 probe.
Analiza la nivel de jeton o face 340× mai rapidă și scalabilă pentru utilizarea în timp real.	Adesea semnalează textul uman formal sau structurat (cum ar fi lucrările de cercetare) ca fiind generat de AI.
Sprijinit de cercetările Stanford și publicat la ICML și ICLR prin lucrarea DetectGPT 2023.	Luptat pentru a identifica ChatGPT-3.5 și ieșiri GPT creativ stilizate.
Cercetările de bază și codul sunt disponibile publicului prin intermediul github-ului DetectGPT și al diferitelor proiecte de implementare open source DetectGPT.	Inconsecvența performanței îl face nepotrivit pentru utilizarea profesională în educație, SEO sau fluxuri de lucru de conformitate.

DetectGPT vs AI nedetectabil

Iată o comparație simplă, practică, bazată pe rezultate reale ale testelor și pe performanțe verificate:

Criterii	DetectGPT	AI nedetectabil
Funcția de bază	Detectează textul AI folosind curbe de probabilitate.	Detectează și rescrie textul AI pentru a-l face complet uman.
Precizie	Pretinde o acuratețe de 95%+, dar a obținut doar aproximativ 40-50% în testul nostru în stil ZDNet.	Clasat constant în Top 3 de ZDNet, cu o acuratețe reală de 85-90%.
Integrare	Detectează numai. Humanizer este un add-on separat, plătit.	Humanizer încorporat - detectați și corectați conținutul într-un singur loc.
Ușurința de utilizare	Necesită etape separate pentru verificare și rescriere.	Flux de lucru unic. Detectați, umanizați și verificați instantaneu.
Preț	$15/lună pentru 50.000 de cuvinte.	$9,99/lună pentru 10.000 de cuvinte (planuri flexibile).

Explorați Detectorul AI și Humanizer în widgetul de mai jos!

Întrebări frecvente

Verdict final

Lucrarea DetectGPT a introdus o metodă inteligentă, cu zero fotografii, care analizează modul în care "previzibil" cuvintele sunt într-un text pentru a depista scrierea AI. 

Dar ceea ce funcționează în teorie nu este întotdeauna valabil în practică.

În testele noastre, DetectGPT a atins o precizie reală de numai 5-10%. 

Acesta a marcat adesea lucrări de cercetare scrise de oameni ca fiind AI și a omis textul evident generat de ChatGPT. 

Pentru profesorii care verifică lucrările elevilor, pentru scriitorii care își protejează credibilitatea sau pentru întreprinderile care mențin conformitatea conținutului, acest tip de inconsecvență este riscant.

Iată ce trebuie să știți înainte de a-l utiliza:

• Dacă sunteți cercetător sau dezvoltator: Codul GitHub este excelent pentru a învăța sau pentru a vă construi propriile instrumente de detectare a IA.
  
• Dacă aveți nevoie de detectare fiabilă: Undetectable AI a avut rezultate mult mai bune în testele reale. A obținut o precizie de până la 90%, plus că rescrie textul marcat pentru a suna complet uman, totul la un cost mai mic.
  
• Dacă studiați detectarea AI: Lucrarea DetectGPT merită încă citită, dar nu uitați că "95% precizie" se bazează pe teste de laborator, nu pe rezultate din lumea reală.

Instrumentele de detectare a IA se îmbunătățesc rapid. DetectGPT merită credit pentru cercetările sale, dar atunci când acuratețea contează, alegeți un instrument care a fost testat și dovedit în afara laboratorului.

Încercați AI nedetectabil astăzi pentru a vă asigura că conținutul dvs. rămâne autentic, uman și detectat în mod fiabil.