A DetectGPT 95% pontossággal rendelkezik. A Stanford támogatja. A DetectGPT dokumentum több száz hivatkozást tartalmaz. Nyílt forráskódú a DetectGPT githubon.
De mennyire pontosak ezek az állítások?
Ebben a DetectGPT felülvizsgálatban a DetectGPT-t a ZDNet iparági szabványos benchmarkjával teszteljük, hogy ellenőrizzük a valós teljesítményét.
Bemutatjuk, hogyan működik a DetectGPT, hogyan viszonyul más észlelőeszközökhöz, és mit mutatott ki független tesztelésünk a pontosságáról, megbízhatóságáról és gyakorlati használhatóságáról.
A végére tudni fogod, hogy a DetectGPT megfelel-e a hype-nak vagy sem.
Derítsük ki.
A legfontosabb tudnivalók
- DetectGPT pontosság: 5-10%. A 4 vizsgálati minta közül egyiket sem azonosította helyesen.
- A DetectGPT egy Stanfordon kifejlesztett mesterséges intelligencia detektor, amely valószínűségi görbületelemzéssel azonosítja a gép által generált szöveget. Elemzi, hogy a szavak milyen pontosan illeszkednek egymáshoz, hogy kiszűrje a mesterséges intelligencia mintákat.
- A DetectGPT egy úttörő nulla lövéses felismerési módszert vezetett be, amely nem igényel új modellek újratanítását. A nyílt forráskódú GitHub implementáció további kutatásra és innovációra ösztönöz.
- Az Undetectable AI mind a 4 tesztmintában 100% pontosságot ért el, és a ZDNet értékeléseiben következetesen az első 3 eszköz között szerepel, akár 90% valós pontossággal.
Mi a DetectGPT Detector felülvizsgálata?
Ahogy a neve is mutatja, a DetectGPT egy mesterséges intelligencia eszköz, amely megállapítja, hogy egy szöveget ember írt-e, vagy egy GPT-alapú modell generálta.
GPT = Generatív előképzett transzformátor.
Ez egyfajta nagyméretű nyelvi modell, amelyet hatalmas mennyiségű szöveges adaton képeztek ki, hogy megjósolja a következő szót egy szekvenciában. Példa: Például a ChatGPT, a GPT-3 és a GPT-4 mind ebbe a családba tartoznak.
Soha többé ne aggódj amiatt, hogy a mesterséges intelligencia felismeri a szövegeidet. Undetectable AI Segíthet:
- Tegye láthatóvá az AI-asszisztált írást ember-szerű.
- Bypass az összes főbb AI-érzékelő eszköz egyetlen kattintással.
- Használja a címet. AI biztonságosan és magabiztosan az iskolában és a munkahelyen.
A DetectGPT-t a Stanford Egyetem informatika szakos hallgatója, Eric Anthony Mitchell és kutatócsoportja fejlesztette ki.
DetectGPT papírjuk, "DetectGPT: Valószínűségi görbületet használó nulla lövéses gépi szövegfelismerés," 2023 januárjában jelent meg, és később az ICML 2023 konferencián mutatták be.
A DetectGPT 2023 című dokumentum referenciaponttá vált a mesterséges intelligencia észlelésének területén.
Ez volt az az időszak, amikor a ChatGPT népszerűsége a csúcspontján volt, és a világ azon küzdött, hogy megkülönböztesse az emberi írást a gép által generált szövegtől.
Bizonyos értelemben a DetectGPT egy újfajta fenyegetés korai védelmi vonalává vált. Ez azt jelenti, hogy akkoriban még nem voltak mesterséges intelligencia detektorok? Tévedés.
Volt néhány detektáló eszköz, de a legtöbbjük nagymértékben támaszkodott címkézett adathalmazokra. Több ezer mesterséges és emberi szövegpéldán kellett őket betanítani, mielőtt megtippelték volna őket.
A DetectGPT nem.
A mintaillesztési példák helyett egy matematikai koncepcióra támaszkodott, amit úgy hívtak, hogy log valószínűségi görbület.
Gondolj erre így...
- Amikor egy AI modell ír, hajlamos olyan szavakat választani, amelyek túl tökéletesen illeszkednek, így mindig a "biztonságos zóna" a valószínűség.
- Az emberi írás viszont természetszerűleg egyenetlen. Néha esetlen és kiszámíthatatlan.
A DetectGPT érzékeli ezt a különbséget.
Ezt a folyamatot perturbációs diszkrepanciának nevezik, és lehetővé teszi, hogy a DetectGPT előzetes tréning nélkül is rendkívül pontos ítéleteket hozzon.
Hamarosan a kor egyik legelismertebb és tudományos szempontból legelismertebb mesterséges intelligencia detektorává vált.
A DetectGPT fő jellemzői
Íme a DetectGPT főbb jellemzői:
- Zero-Shot Detection Engine: A mesterséges intelligencia által generált szöveget minden egyes új modellkiadásnál (azaz valószínűségi görbe) újratanítás nélkül észleli.
- Fast-DetectGPT Sebesség és skála: A frissített változat, a Fast-DetectGPT gyors, nagy volumenű felismerést tesz lehetővé, amely gyorsabb és hatékonyabb, mint az eredeti.
- Nyílt forráskódú Alapítvány: Mivel a keretrendszert nyíltan megosztották, a fejlesztők képesek voltak lemásolni és adaptálni azt. A DetectGPT nyílt forráskódú megvalósítása számos projektet inspirált a DetectGPT githubon, ahol a fejlesztők továbbra is építik és fejlesztik az észlelési modelleket és API-kat. Ma a DetectGPT GitHub-tárház világszerte a kutatók és fejlesztők erőforrása.
- Nagy pontosságú állítások: Akár 99% észlelési pontosságot is elér, ami felülmúlja a DetectGPT dokumentumban dokumentált 95% AUROC eredeti tudományos referenciaértéket.
- Tételes észlelés és jelentés: Támogatja a dokumentumok tömeges szkennelését (10-50 fájl kötegenként), és letölthető PDF-jelentéseket készít oktatók és vállalatok számára.
- API integráció: Egyszerű API-t biztosít a meglévő platformokba, alkalmazásokba vagy tartalmi munkafolyamatokba való zökkenőmentes integrációhoz.
- AI Content Humanizer: Tartalmaz egy további funkciót, amely átírja a mesterséges intelligencia által generált szöveget, hogy természetesebb és emberibb hangzású legyen.
- Integrált plágium- és tényellenőrzés: A hitelesség biztosítása érdekében ellenőrzi a szöveg eredetiségét és tényszerűségét.
- Olvashatósági pontozás: Az általános olvashatóság javítása érdekében értékeli és javítja a mondatfolyamot, a hangnemet és az érthetőséget.
Hogyan működik a DetectGPT Detector?
A DetectGPT-t kétféleképpen érhetjük el:
- Webes alkalmazás
- Böngésző bővítmény
A következőkben lépésről lépésre bemutatjuk, hogyan működik mindkét verzió:
- Hozzáférés a platformhoz: Látogasson el a DetectGPT weboldalára, vagy győződjön meg róla, hogy a böngészőbővítmény aktív.
- Bemeneti tartalom: Másolja ki és illessze be a szöveget a beviteli mezőbe. Ha a kiterjesztést használja, csak nyomja meg a "frissítés" vagy "scan" az elemezni kívánt oldal megtekintése közben.
- Elemzés kezdeményezése: Kattintson a címre. "Tartalom ellenőrzése." A rendszer ezután a DetectGPT 2023 dokumentumban leírt módszertan alapján ellenőrzi a tartalmat.
- Felülvizsgálat eredményei: A DetectGPT másodperceken belül megjeleníti az elemzési pontszámot, általában egy százalékos értéket, amely megmutatja, hogy a szöveget mennyire valószínű, hogy mesterséges intelligencia generálta.
A DetectGPT pontosságának tesztelése
A DetectGPT-t a ZDNet széles körben elismert benchmark-módszerével teszteltük.
Négy mintablokkot használtunk:
- 1. blokk (ember által írt, hivatalos) → egy kutatási tanulmány
- 2. blokk (ember által írt, informális) → részlet Gary Halbert leveleiből
- 3. blokk (mesterséges intelligencia által generált, alap) → ChatGPT 3.5 kimenet
- 4. blokk (mesterséges intelligencia által generált, kreatív felkérés) → részletes, összetett mesterséges intelligencia szöveg
Eredmények:
| Minta blokk | Igazi származás | DetectGPT észlelés | Megjegyzések |
| 1. blokk | 100% Emberi | 21% vegyes, 0% AI | Részben mesterséges intelligenciának tévesen minősített |
| 2. blokk | 100% Emberi | 11% Vegyes, 0% AI | Kissé vegyesnek minősül |
| 3. blokk | 100% AI | 85% Emberi, 15% Vegyes | Nem sikerült pontosan észlelni az AI-t |
| 4. blokk | 100% AI | 14% vegyes, 0% AI | Tévesen többnyire embernek minősül |
Az 1. blokk eredménye (ember által írt, hivatalos)
A 2. blokk eredménye (ember által írt, informális)
A 3. blokk eredménye (AI-generált, vanília)
A 4. blokk eredménye (AI-generált, stilizált)
A 4 minta közül egyik sem volt helyesen besorolva 100%, de 2 (Block 1 és 2) esetében volt egy kis részleges felismerés (a "vegyes" felismerés), ami nagyon kis részleges sikernek tekinthető.
A tisztességes, adatokkal alátámasztott módon úgy fogalmazhatunk, hogy a DetectGPT ebben a tesztben ~5-10% gyakorlati pontosságot ért el, ami alapvetően megbízhatatlan a professzionális használatra, az eredeti DetectGPT-publikációban bemutatott ígéretes eredmények ellenére.
Ezután teszteltük Kimutathatatlan AI a korábban alkalmazott ZDNet benchmark-módszertan alkalmazásával.
| Minta | Tényleges | Kimutathatatlan AI észlelés | Pontosság |
| 1. blokk | 100% Emberi | 100% Emberi | Helyes |
| 2. blokk | 100% Emberi | 100% Emberi | Helyes |
| 3. blokk | 100% AI | 99% AI | Helyes |
| 4. blokk | AI | 86% AI | Helyes |
Kimutathatatlan AI mind a 4 mintát pontosan osztályozta.
Amikor a ZDNet elvégezte saját független értékelését, az Undetectable AI következetesen a Top 3 felderítő eszköz között szerepelt.
A rendszer azon kevés platformok egyikeként tűnt ki, amelyek képesek helyesen azonosítani mind a mesterséges intelligenciát, mind az emberi tartalmat a különböző írásmódok és összetettségi szintek között.
A DetectGPT előnyei és hátrányai
Íme a DetectGPT előnyei és hátrányai:
| Előnyök | Hátrányok |
| A mesterséges intelligencia szövegének felismerése a valószínűségi görbület segítségével. Nincs szükség új modellek újratanítására. | A tesztelés során 4 mintából csak részben azonosított 2 mintát. |
| A token-szintű elemzés 340× gyorsabbá és valós idejű használatra skálázhatóvá teszi. | Gyakran jelöli a hivatalos vagy strukturált emberi szöveget (például kutatási tanulmányokat) mesterséges intelligencia által generáltnak. |
| Ezt a Stanfordi kutatás támasztja alá, és a DetectGPT 2023 című dokumentumon keresztül az ICML és az ICLR is közzétette. | A ChatGPT-3.5 és a kreatívan stilizált GPT kimenetek azonosításával küszködött. |
| Az alapkutatás és a kód nyilvánosan elérhető a DetectGPT githubon és a különböző DetectGPT nyílt forráskódú implementációs projekteken keresztül. | A teljesítmény következetlensége miatt nem alkalmas professzionális használatra az oktatásban, a SEO-ban vagy a megfelelőségi munkafolyamatokban. |
DetectGPT vs. Nem kimutatható AI
Íme egy egyszerű, gyakorlatias összehasonlítás, amely valós teszteredményeken és ellenőrzött teljesítményen alapul:
| Kritérium | DetectGPT | Kimutathatatlan AI |
| Alapvető funkció | Valószínűségi görbék segítségével észleli a mesterséges intelligencia szövegét. | Felismeri és átírja a mesterséges intelligencia szövegét, hogy teljesen emberivé tegye azt. |
| Pontosság | 95%+ pontosságot ígért, de csak 40-50% körüli eredményt ért el a ZDNet stílusú tesztünkben. | A ZDNet folyamatosan a Top 3. helyen áll, 85-90% valós pontossággal. |
| Integráció | Csak érzékeli. A Humanizer egy különálló, fizetős kiegészítő. | Beépített humanizáló - a tartalom felismerése és javítása egy helyen. |
| Könnyű használat | Külön lépéseket igényel az ellenőrzéshez és az átíráshoz. | Egyetlen munkafolyamat. Azonnali felismerés, humanizálás és ellenőrzés. |
| Ár | $15/hó 50 000 szóért. | $9,99/hó 10 000 szóért (rugalmas tervezetek). |
Fedezze fel az AI Detector és Humanizer termékünket az alábbi widgetben!
GYIK
Mi az a DetectGPT?
A Stanford Egyetemen kifejlesztett DetectGPT a mesterséges intelligenciával írt szöveget annak statisztikai előrejelezhetőségének (log valószínűségi görbület) elemzésével érzékeli.
Ez egy zéró lövéses módszer, ami azt jelenti, hogy minden egyes új AI-modell újratanítása nélkül működik.
Ingyenes a DetectGPT használata?
Az alapkutatás és a nyílt forráskód ingyenesen elérhető a GitHubon. A kereskedelmi verzió azonban AI Humanizerrel, plágiumellenőrzővel és magasabb korlátokkal $15/hóba kerül 50 000 szóra.
A DetectGPT felismeri a GPT-3 és a ChatGPT tartalmát?
Tesztjeink kimutatták, hogy nem sikerült azonosítani a ChatGPT 3.5 kimenetet. A 85% emberi, nem pedig mesterséges intelligencia által generáltnak minősítette, ami megbízhatatlanná teszi az adott célra.
Végső ítélet
A DetectGPT papírja egy intelligens, nullszaldós módszert mutatott be, amely elemzi, hogyan "kiszámítható" szavak vannak egy szövegben, hogy kiszúrja az AI írást.
De ami elméletben működik, az a gyakorlatban nem mindig állja meg a helyét.
Tesztjeink során a DetectGPT csak 5-10% valós pontosságot ért el.
Gyakran jelölte az ember által írt kutatási dokumentumokat mesterséges intelligenciaként, és nem vette észre a nyilvánvalóan ChatGPT által generált szöveget.
A tanárok számára, akik a diákok munkáját ellenőrzik, az írók számára, akik a hitelességüket védik, vagy a vállalkozások számára, amelyek a tartalom megfelelőségét biztosítják, ez a fajta következetlenség kockázatos.
A következőket kell tudni, mielőtt használnád:
- Ha Ön kutató vagy fejlesztő: A GitHub-kód kiválóan alkalmas a tanuláshoz vagy a saját AI-érzékelő eszközeid létrehozásához.
- Ha megbízható észlelésre van szüksége: A kimutathatatlan AI sokkal jobban teljesített a valós teszteken. Akár 90% pontosságot ért el, ráadásul a megjelölt szöveget átírja, hogy teljesen emberi hangzású legyen, mindezt alacsonyabb költséggel.
- Ha mesterséges intelligencia észlelését tanulmányozod: A DetectGPT papír még mindig érdemes elolvasni, de ne feledje, hogy a "95% pontosság" laboratóriumi teszteken alapul, nem pedig valós eredményeken.
A mesterséges intelligencia felismerő eszközök gyorsan fejlődnek. A DetectGPT elismerést érdemel a kutatásáért, de ha a pontosság számít, olyan eszközt válasszon, amelyet a laboratóriumon kívül teszteltek és bizonyítottak.
Próbálja ki a címet. Kimutathatatlan AI még ma, hogy tartalma hiteles, emberi jellegű és megbízhatóan észlelt maradjon.