DetectGPT Review: GPTG: Rehellinen erittely & tärkeimmät näkemykset: Rehellinen erittely & tärkeimmät näkemykset

DetectGPT:n tarkkuus on 95%. Sen takana on Stanford. DetectGPT:n julkaisussa on satoja viittauksia. Se on avoimen lähdekoodin DetectGPT githubissa.

Mutta kuinka paikkansapitäviä nämä väitteet ovat? 

Tässä DetectGPT-arvostelussa laitamme DetectGPT:n testiin käyttämällä ZDNetin alan standardipenkkiä sen todellisen suorituskyvyn tarkistamiseksi.

Kerromme, miten DetectGPT toimii, miten se vertautuu muihin havaintotyökaluihin ja mitä riippumattomat testimme paljastivat sen tarkkuudesta, luotettavuudesta ja käytännön käytettävyydestä.

Loppuun mennessä tiedät, onko DetectGPT hypeä vastaava vai ei.

Otetaan selvää.

---

Keskeiset asiat

• DetectGPT Tarkkuus: 5-10%. Se ei tunnistanut oikein yhtään neljästä testinäytteestä.

• DetectGPT on Stanfordissa kehitetty tekoälyilmaisin, joka käyttää todennäköisyyskäyristymäanalyysiä koneellisesti luodun tekstin tunnistamiseen. Se analysoi, miten tarkasti sanat sopivat yhteen, ja havaitsee tekoälykuviot. 

• DetectGPT esitteli uraauurtavan nollakuvantunnistusmenetelmän, joka ei vaadi uusien mallien uudelleenkoulutusta. Avoimen lähdekoodin GitHub-toteutus kannustaa jatkotutkimukseen ja innovointiin.

• Undetectable AI saavutti 100%-tarkkuuden kaikissa neljässä testinäytteessä, ja se on jatkuvasti kolmen parhaan työkalun joukossa ZDNetin arvioinneissa jopa 90%-tarkkuudella todellisessa maailmassa.

---

Mikä on DetectGPT Detector Review?

Nimensä mukaisesti DetectGPT on tekoälytyökalu, joka tunnistaa, onko tekstin kirjoittanut ihminen vai GPT-pohjainen malli. 

GPT = Generative Pre-trained Transformer.

Se on eräänlainen suuri kielimalli, joka on koulutettu valtavilla määrillä tekstidataa ennustamaan seuraavaa sanaa sarjassa. Esimerkki: Esimerkki: ChatGPT, GPT-3 ja GPT-4 kuuluvat kaikki tähän perheeseen.

DetectGPT:n on kehittänyt Stanfordin yliopiston tietojenkäsittelytieteen jatko-opiskelija Eric Anthony Mitchell tutkimusryhmineen. 

Heidän DetectGPT-paperinsa, "DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature," julkaistiin tammikuussa 2023 ja esiteltiin myöhemmin ICML 2023 -tapahtumassa.

DetectGPT 2023 -julkaisusta tuli tekoälyn havaitsemisen alan vertailukohta.

Se oli aikaa, jolloin ChatGPT:n suosio oli huipussaan ja maailma kamppaili siitä, miten erottaa ihmisen kirjoittama teksti koneellisesti luodusta tekstistä. 

DetectGPT:stä tuli tavallaan varhainen puolustuslinja uudenlaista uhkaa vastaan. Tarkoittaako tämä siis, ettei tekoälyä havaitsevia ilmaisimia ollut tuolloin olemassa? Väärin. 

Tunnistustyökaluja oli muutamia, mutta useimmat niistä perustuivat vahvasti merkittyihin tietokokonaisuuksiin. Niitä oli koulutettava tuhansilla tekoäly- ja ihmistekstiesimerkeillä, ennen kuin ne pystyivät tekemään arvauksen. 

DetectGPT ei tehnyt niin. 

Kuvioihin sopivien esimerkkien sijasta se luotti matemaattiseen käsitteeseen nimeltä log todennäköisyyden kaarevuus. 

Ajattele asiaa näin...

• Kun tekoälymalli kirjoittaa, sillä on taipumus valita sanat, jotka sopivat liian täydellisesti, joten se istuu koko ajan "turvallinen alue" todennäköisyys. 
• Ihmisen kirjoittaminen sen sijaan on luonnostaan epätasaista. Se on joskus hankalaa ja arvaamatonta. 

DetectGPT havaitsee tämän eron.

Tätä prosessia kutsutaan häiriöerotukseksi, ja sen ansiosta DetectGPT pystyy tekemään erittäin tarkkoja arvioita ilman esiharjoittelua.

Siitä tuli nopeasti yksi aikansa arvostetuimmista ja akateemisesti siteeratuimmista tekoälyilmaisimista.

DetectGPT:n tärkeimmät ominaisuudet

Tässä ovat DetectGPT:n keskeiset ominaisuudet:

• Zero-Shot Detection Engine: Tunnistaa tekoälyn luoman tekstin ilman uudelleenkoulutusta jokaisen uuden mallin julkaisun yhteydessä (eli todennäköisyyskäyrä).
  
• Nopea havaitseminenGPT Nopeus ja mittakaava: Päivitetty Fast-DetectGPT-versio mahdollistaa nopean, suuren määrän havaitsemisen, joka on sekä nopeampi että tehokkaampi kuin alkuperäinen versio.
  
• Avoimen lähdekoodin säätiö: Koska sen kehys oli avoimesti jaettu, kehittäjät pystyivät kopioimaan ja mukauttamaan sitä. Avoimen lähdekoodin DetectGPT-toteutus innoitti monia projekteja DetectGPT githubissa, jossa kehittäjät jatkavat havaintomallien ja sovellusliittymien rakentamista ja parantamista. Nykyään DetectGPT:n GitHub-tietovarasto on resurssi tutkijoille ja kehittäjille kaikkialla maailmassa.
  
• Korkean tarkkuuden väitteet: Saavuttaa jopa 99%:n havaintotarkkuuden, mikä ylittää alkuperäisen akateemisen vertailuarvon 95% AUROC, joka on dokumentoitu DetectGPT-julkaisussa.

• Erätunnistus ja raportointi: Tukee asiakirjojen massaskannausta (10-50 tiedostoa erää kohti) ja tuottaa ladattavia PDF-raportteja kouluttajille ja yrityksille.
  
• API-integraatio: Tarjoaa yksinkertaisen sovellusrajapinnan saumatonta integrointia varten olemassa oleviin alustoihin, sovelluksiin tai sisällön työnkulkuihin.
  
• AI Content Humanizer: Sisältää lisäominaisuuden, joka kirjoittaa tekoälyn luoman tekstin uudelleen kuulostamaan luonnollisemmalta ja ihmismäisemmältä.
  
• Integroitu plagiointi- ja faktantarkistus: Ristiintaulukointi tekstin alkuperäisyyden ja tosiseikkojen paikkansapitävyyden varmistamiseksi uskottavuuden varmistamiseksi.
  
• Luettavuuden pisteytys: Arvioi ja parantaa lauseiden sujuvuutta, sävyä ja selkeyttä yleisen luettavuuden parantamiseksi.

Miten DetectGPT Detector toimii?

Voimme käyttää DetectGPT:tä kahdella tavalla:

• Web-sovellus
• Selaimen laajennus

Molemmat versiot toimivat tyypillisesti näin, askel askeleelta:

1. Pääsy alustalle: Mene DetectGPT:n verkkosivustolle tai varmista, että selainlaajennus on aktiivinen.
   
2. Sisältö: Kopioi teksti ja liitä se syöttöruutuun. Jos käytät laajennusta, paina vain "refresh" tai "scan" kun katselet analysoitavaa sivua.
   
3. Aloita analyysi: Klikkaa "Tarkista sisältö." Tämän jälkeen järjestelmä tarkistaa sisältösi DetectGPT 2023 -asiakirjassa kuvatun menetelmän perusteella.

4. Arvostelun tulokset: Muutamassa sekunnissa DetectGPT näyttää analyysipisteen, yleensä prosenttiosuuden, joka osoittaa, kuinka todennäköisesti teksti on tekoälyn tuottamaa. 

DetectGPT-tarkkuuden testaus

Testasimme DetectGPT:tä käyttämällä ZDNetin laajalti tunnustettua vertailuanalyysimenetelmää.

Käytimme neljää näytelohkoa:

1. Lohko 1 (ihmisen kirjoittama, virallinen) → tutkimusraportti
2. Lohko 2 (ihmisen kirjoittama, epävirallinen) → ote Gary Halbertin kirjeistä
3. Lohko 3 (tekoälyn luoma, perus) → ChatGPT 3.5 tuotos
4. Lohko 4 (tekoälyn luoma, luova kehotus) → yksityiskohtainen, monimutkainen tekoälyteksti

Tulokset:

Näytelohko	Todellinen alkuperä	DetectGPT-tunnistus	Huomautukset
Lohko 1	100% Ihminen	21% Sekoitettu, 0% AI	Luokiteltu virheellisesti osittain tekoälyksi
Lohko 2	100% Ihminen	11% Sekoitettu, 0% AI	Hieman sekalaiseksi merkitty
Lohko 3	100% AI	85% Ihminen, 15% Sekoitettu	Epäonnistui havaitsemaan tekoälyä tarkasti
Lohko 4	100% AI	14% Sekoitettu, 0% AI	Luokiteltu virheellisesti useimmiten ihmisiksi

Lohkon 1 tulos (ihmisen kirjoittama, virallinen)

Lohkon 2 tulos (ihmisen kirjoittama, epävirallinen)

Lohkon 3 tulos (tekoälyn luoma, Vanilla)

Lohkon 4 tulos (tekoälyn luoma, muotoiltu)

Neljästä näytteestä yksikään ei ollut oikein luokiteltu 100%, mutta kahdessa (lohko 1 ja 2) oli pieni osittainen tunnistus (sekatunnistus), jota voidaan pitää hyvin vähäisenä osittaisena onnistumisena.

Oikeudenmukainen, dataan perustuva tapa todeta se on, että DetectGPT saavutti tässä testissä ~5-10% käytännön tarkkuuden, joka on pohjimmiltaan epäluotettava ammattikäyttöön, huolimatta alkuperäisessä DetectGPT-julkaisussa esitetyistä lupaavista tuloksista.

Seuraavaksi testasimme Havaitsematon tekoäly käyttäen samaa ZDNet-vertailumenetelmää, jota sovellettiin aiemmin.

Näyte	Todellinen	Havaitsematon tekoälyn havaitseminen	Tarkkuus
Lohko 1	100% Ihminen	100% Ihminen	Oikein
Lohko 2	100% Ihminen	100% Ihminen	Oikein
Lohko 3	100% AI	99% AI	Oikein
Lohko 4	AI	86% AI	Oikein

Havaitsematon tekoäly luokitteli tarkasti kaikki 4 näytettä. 

Kun ZDNet suoritti oman riippumattoman arviointinsa, Undetectable AI sijoittui jatkuvasti kolmen parhaan tunnistustyökalun joukkoon.

Se erottui yhtenä harvoista alustoista, jotka pystyvät tunnistamaan oikein sekä tekoälyn että ihmisen tuottaman sisällön erilaisilla kirjoitustyyleillä ja monimutkaisuustasoilla.

DetectGPT:n hyvät ja huonot puolet

Tässä ovat DetectGPT:n hyvät ja huonot puolet:

Plussaa	Miinukset
Tunnistaa tekoälytekstin todennäköisyyskäyristymän avulla. Uusien mallien uudelleenkoulutusta ei tarvita.	Testauksessa se tunnisti vain osittain 2 näytettä 4:stä.
Token-tason analyysin ansiosta se on 340 kertaa nopeampi ja skaalautuva reaaliaikaiseen käyttöön.	Merkitsee usein virallisen tai jäsennellyn ihmistekstin (kuten tutkimusasiakirjat) tekoälyn tuottamaksi.
Tämä perustuu Stanfordin tutkimukseen, joka on julkaistu ICML:ssä ja ICLR:ssä DetectGPT 2023 -asiakirjassa.	Ongelmia ChatGPT-3.5:n ja luovasti muotoiltujen GPT-ulostulojen tunnistamisessa.
Ydintutkimus ja koodi ovat julkisesti saatavilla DetectGPT:n githubissa ja useissa DetectGPT:n avoimen lähdekoodin toteutusprojekteissa.	Suorituskyvyn epäjohdonmukaisuus tekee siitä sopimattoman ammattikäyttöön koulutuksessa, hakukoneiden etsinnässä tai vaatimustenmukaisuuden työnkuluissa.

DetectGPT vs havaitsematon AI

Tässä on yksinkertainen, käytännöllinen vertailu, joka perustuu todellisiin testituloksiin ja todennettuun suorituskykyyn:

Kriteeri	DetectGPT	Havaitsematon tekoäly
Ydintoiminto	Tunnistaa tekoälytekstin todennäköisyyskäyrien avulla.	Tunnistaa ja kirjoittaa tekoälytekstin uudelleen, jotta se olisi täysin inhimillistä.
Tarkkuus	Väitti 95%+-tarkkuutta, mutta sai vain noin 40-50% pisteitä ZDNet-tyylisessä testissämme.	ZDNet on jatkuvasti sijoittunut Top 3:een, ja sen reaalimaailman tarkkuus on 85-90%.
Integrointi	Vain havaitsee. Humanizer on erillinen, maksullinen lisäosa.	Sisäänrakennettu humanisaattori - havaitse ja korjaa sisältö yhdessä paikassa.
Helppokäyttöisyys	Vaatii erilliset vaiheet tarkistamista ja uudelleenkirjoittamista varten.	Yksittäinen työnkulku. Havaitse, inhimillistä ja tarkista välittömästi.
Hinta	$15/kk 50 000 sanasta.	$9,99 / kk 10 000 sanalle (joustavat suunnitelmat).

Tutustu AI Detectoriin ja Humanizeriin alla olevassa widgetissä!

UKK

Lopullinen tuomio

DetectGPT-paperissa esiteltiin älykäs, nollapistemenetelmä, jossa analysoidaan, miten "ennakoitavissa" sanat ovat tekstissä, jotta tekoälyn kirjoitus voidaan havaita. 

Mutta se, mikä toimii teoriassa, ei aina pidä paikkaansa käytännössä.

Testauksessamme DetectGPT saavutti vain 5-10%-tarkkuuden todellisessa maailmassa. 

Se merkitsi usein ihmisen kirjoittamat tutkimusasiakirjat tekoälyksi ja jätti huomiotta ilmeisen ChatGPT:n tuottaman tekstin. 

Opettajille, jotka tarkistavat oppilaiden töitä, kirjoittajille, jotka suojelevat uskottavuuttaan, tai yrityksille, jotka pitävät sisällön vaatimustenmukaisena, tällainen epäjohdonmukaisuus on riskialtista.

Seuraavassa kerrotaan, mitä sinun on tiedettävä, ennen kuin käytät sitä:

• Jos olet tutkija tai kehittäjä: GitHub-koodi on loistava oppimiseen tai omien tekoälyn tunnistustyökalujen rakentamiseen.
  
• Jos tarvitset luotettavaa havaitsemista: Havaitsematon tekoäly suoriutui paljon paremmin reaalimaailman testeissä. Se saavutti jopa 90%-tarkkuuden, ja lisäksi se kirjoittaa merkityn tekstin uudelleen niin, että se kuulostaa täysin inhimilliseltä, ja kaikki tämä halvemmalla.
  
• Jos tutkit tekoälyn havaitsemista: DetectGPT-paperi on edelleen lukemisen arvoinen, mutta muista, että sen "95% tarkkuus" perustuu laboratoriotesteihin, ei todellisiin tuloksiin.

Tekoälyn tunnistustyökalut kehittyvät nopeasti. DetectGPT ansaitsee tunnustusta tutkimuksestaan, mutta kun tarkkuudella on väliä, valitse työkalu, joka on testattu ja todistettu laboratorion ulkopuolella.

Kokeile Havaitsematon tekoäly tänään, jotta sisältösi pysyy aitona, ihmisläheisenä ja luotettavasti havaittuna.