Minden AI-érzékelő eszköz, amellyel ma találkozik, valószínűleg azzal a merész állítással büszkélkedik, hogy > 95% pontos. Néhányan még azt is állítják, hogy 100% megbízható!
De pontosak-e a mesterséges intelligencia detektorok? Tényleg?
A mesterséges intelligenciamodelleket folyamatosan frissítik. A ChatGPT jelenlegi verziója például sokkal árnyaltabb és kontextustudatosabb, mint a 2022-es verzió.
Így teljesen természetes, hogy sok mesterséges intelligencia-érzékelő nehezen fogja tudni pontosan mesterséges intelligencia által generáltnak minősíteni a szöveget.
Ennek ellenére egyes eszközök kétségtelenül jobban teljesítenek, mint mások. De ahhoz, hogy kiderítsük, melyek azok, amelyek valóban megfelelnek az állításoknak, tesztelnünk kell őket.
Ebben a cikkben pontosan ezt tettük.
A 10 legnépszerűbb AI-érzékelőt a ZDNet által használt benchmarkon értékeltük, hogy megnézzük, mennyire pontosak az AI-érzékelők.
Itt van, amit találtunk!
A legfontosabb tudnivalók
- A mesterséges intelligencia detektorok elemzik a szavak gyakoriságát, a mondatváltozatokat és a szintaktikát, hogy megállapítsák, hogy a szöveget ember írta-e vagy mesterséges intelligencia generálta.
- Számos eszköz mesterséges intelligencia-felismerése nem 100% üzembiztos, mivel az emberi és mesterséges intelligencia által írt szövegek nagy része azonos nyelvtani szerkezetű, ami hamis pozitív és negatív eredményekhez vezet.
- A mesterséges intelligencia tartalmak pontos felismerésének három fő technikája a statisztikai nyelvi modellezés, a metaadatok és vízjelek, valamint a gépi tanulási osztályozók.
- A felderíthetetlen mesterséges intelligencia több felderítő algoritmust egyesít egyetlen szövetségi rendszerben. Ingyenes és megbízható mesterséges intelligencia-érzékelést kínál a fizetős eszközök gyakori kompromisszumai nélkül.
Mik azok az AI-érzékelők és hogyan működnek?
A mesterséges intelligencia detektorok olyan eszközök, amelyek meghatározzák, hogy egy szöveget ember írt-e, vagy mesterséges intelligencia generálta.
A rendszer a szöveget mérhető jellemzőkre bontja, majd olyan mintákat keres, amelyek gépi szerzőségről árulkodnak.
Az AI által generált szövegek általában statisztikai mintákat követnek. A nyelvi modelleket arra képzik ki, hogy megjósolják a következő szót egy szekvenciában, így az írásuk olyan valószínűségekre épül, amelyek finom nyomokat hoznak létre.
Soha többé ne aggódj amiatt, hogy a mesterséges intelligencia felismeri a szövegeidet. Undetectable AI Segíthet:
- Tegye láthatóvá az AI-asszisztált írást ember-szerű.
- Bypass az összes főbb AI-érzékelő eszköz egyetlen kattintással.
- Használja a címet. AI biztonságosan és magabiztosan az iskolában és a munkahelyen.
A mesterséges intelligencia detektorok a szavak gyakoriságának, a mondatszerkezet változatosságának, a szintaxis összetettségének és a megfogalmazás általános véletlenszerűségének (vagy annak hiányának) elemzésével veszik észre ezeket a nyomokat.
A mesterséges intelligencia detektorok által használt két legfontosabb mérőszám a következő:
- Tanácstalanság: Ez annak a mérőszáma, hogy mennyire "lepődik meg" a modell a mondat következő szaván. Az emberi írás általában magasabb perplexitást mutat, mivel az emberek eltérnek a mintáktól, idiómákat használnak, érzelmeket illesztenek be stb., ellentétben a következőkkel Mesterséges intelligencia által generált írás.
- Szakadás: A mondat hosszának és ritmusának változatosságát méri. Az emberek természetesen rövid, hosszú és egyenetlen mondatokkal írnak, míg az AI által írt tartalmak hossza egyenletes.
Miért olyan nehéz a mesterséges intelligencia felderítése
Az emberi és a mesterséges intelligencia írása közötti különbségek ellenére a mesterséges intelligencia által generált szövegek felismerése kissé nehézkes, különösen akkor, ha azokat szerkesztették.
Íme néhány ok, amiért.
Az emberi és a mesterséges intelligencia írása közötti hasonlóság
Az írás lényege, hogy mind az emberi, mind a mesterséges intelligencia által írt szövegek ugyanazt a nyelvtani, időmértékes, szintaktikai és fogalmazási rendszert használják.
A mesterséges intelligencia modellek nem a semmiből találják fel a nyelvet.
Egyszerűen abból tanulnak, amit az emberek már megírtak a fejlődésüket megelőző években.
Az adatkészletek, amelyeken képzik őket, eredendően ember által írtak.
Tehát minden jól kifejlesztett mesterséges intelligencia-generáló eszköz internalizálni fogja az emberi kifejezési mintákat, és megpróbálja reprodukálni azokat.
Minél több adatot fogyasztanak, annál "emberibb" lesz az írásuk.
Hamis pozitív és hamis negatív eredmények
Az AI-érzékelők nem tévedhetetlenek.
Hamis pozitív eredmény akkor keletkezik, ha egy ember által írt szöveget tévesen mesterséges intelligencia által generáltnak jelölnek meg.
Ezzel szemben hamis negatív eredmény akkor keletkezik, ha a mesterséges intelligencia által írt szöveg észrevétlenül átcsúszik.
Mindkét téves jelölés meglehetősen gyakori.
Mivel sok mesterséges intelligencia detektor inkább a statisztikai valószínűségre támaszkodik, mint a tényszerű bizonyosságra, pontosságuk korlátozott marad.
Folyamatos modellfejlődés
A mesterséges intelligencia észlelése mozgó célpont. A nyelvi modellek minden egyes új generációját egyre nehezebb felismerni.
Amikor a ChatGPT-t először 2022-ben vezették be nyilvános használatra, a válaszok ismétlődőek, gyakran sablonosak voltak.
Bármely mai mesterséges intelligencia detektor nagyon könnyen elkapná az ilyen típusú szöveget, mint mesterséges intelligenciával írt szöveget.
A legújabb GPT-5 modell azonban kontextustudatos és érzelmileg intelligens szöveget állít elő.
Mivel a kimenetek minősége folyamatosan javul, a stilisztikailag változatosabb mesterséges intelligencia szövegek felismerése kihívást jelent.
Mennyire pontosak ma a mesterséges intelligencia detektorok?
Az őszinte válasz erre a kérdésre az, hogy ez nagyban függ attól, hogy melyik érzékelőt és milyen érzékelési módszert tesztel.
Egyes mesterséges intelligencia-érzékelő eszközök ellenőrzött beállítások mellett közel tökéletes eredményeket állítanak, de amikor valós adatokkal találkoznak, a teljesítményük zavaros lesz.
A referenciaérték ZDNet tanulmány 11 mesterséges intelligencia detektort értékelt öt szövegmintával (három ChatGPT által generált, kettő emberi).
Minden olyan eszközt, amely egy mintát > 70% AI-valószínűséggel jelölt meg, "hívásnak" tekintettünk.
A tanulmány megállapította, hogy az Undetectable AI azon kevés eszközök egyike volt, amely elérte az 100% pontosságot, azaz mind az öt mintát (emberi és mesterséges intelligencia) hiba nélkül helyesen jelölte meg.
De vajon a mindennapi felhasználók számára is pontosak-e a mesterséges intelligencia tartalomérzékelők a valós életben?
A helyzet az, hogy a valós világbeli szövegek ritkán "tiszta mesterséges intelligencia" vagy "tiszta ember".
Ennek nagy része szerkesztett, parafrazált tartalom, szándékos zajjal, és ilyen ellenséges körülmények között sok detektor pontossága meredeken csökken.
A lektorált tanulmány a Copyleaks, a TurnItIn és az Originality esetében megállapította, hogy míg a GPT-3.5 és az emberi tartalom esetében "nagy pontossággal" dolgoznak, a GPT-4 szintű kimenet megkülönböztetése nehézségekbe ütközik.
Top 10 AI detektorok összehasonlítása
Most, hogy kiderítsük, melyek a legpontosabb mesterséges intelligencia detektorok, több eszközt is teszteltünk a ZDNet értékelési módszerével, azaz összesen öt szövegmintával: három ChatGPT által írt és két ember által írt szöveget.
Itt van egy ChatGPT minta és egy ember által írt minta, amelyet használtunk.
ChatGPT Szöveg:
Emberi írott szöveg:
Kimutathatatlan AI
Az első általunk tesztelt eszköz a Kimutathatatlan AI, és minden egyes teszten megfelelt.
Mind az öt szövegmintát helyesen azonosították 100% emberi vagy mesterséges intelligencia által írt szövegként.
A platform még ott is jelzett, ahol más érzékelők esetleg jeleztek volna.
A rendszer több detektor algoritmust használ, amelyeket számos különböző AI-modell (ChatGPT, Gemini, Claude, Llama és mások) mintájára modelleztek, de ahelyett, hogy közvetlenül ezekre a modellekre támaszkodnának, saját szövetségi és konszenzus alapú rendszert építettek.
Lényegében minden algoritmus az említett detektorok mintáin képződik, de egymástól függetlenül fut, hogy kollektív ítéletet hozzon létre.
Az Undetectable AI azt is állítja, hogy "humanizálja" az AI által generált szöveget, hogy az megkerülje a felismerést, és az eredményeink alapján ez az állítás lenyűgözően jól állta a sarat.
GPTZero
Ezután teszteltük a GPTZero-t, amely szintén megfelelt a pontossági mércénknek, és mind az öt mintában a 80% küszöbérték felett teljesített.
Mind az emberi kézzel írt darabokat, mind a mesterséges intelligencia által generált szövegek közül kettőt 100% megbízhatósággal helyesen azonosított.
Az egyetlen kivétel egy AI által generált minta volt, amelyet a GPTZero 71% AI-generáltként jelölt meg, de a mi kritériumaink szerint még mindig a pontos tartományba esik.
Copyleaks
A Copyleaks vegyes eredményeket hozott a tesztelésünk során. Az első, ember által írt mintát tévesen 100% mesterséges intelligencia által generáltnak minősítette.
Kilenc úgynevezett "mesterséges intelligencia által túlhasznált kifejezést" is megjelölt.
Minden további teszt azonban pontos volt, azaz a fennmaradó négy mintában minden egyes szöveget azonosított.
Ez a következetlenség arra utal, hogy a Copyleaks időnként szélsőséges helyzetbe kerülhet, ahogyan az ember által írt mintánk esetében is történt.
Mégis, az összes tesztet tekintve átlagosan 80% körüli pontosságot ért el.
Quillbot
A QuillBot egy másik kiemelkedő eszköz volt a tesztelésünkben, közvetlenül az Undetectable AI mögött. Ez volt a második eszköz, amely minden ember által írt és mesterséges intelligencia által generált írást 100% pontossággal azonosított.
Ami figyelemre méltó, hogy a QuillBot eredetileg a parafrazálási képességeiről volt ismert.
A mesterséges intelligencia detektor azonban egy olyan kifinomult elemző eszköz is, amely képes a nyelvi konzisztencia pontos megállapítására, ami elárulja a mesterséges intelligencia szerzőségét.
Azt is érdemes megjegyezni, hogy a Quillbot nem volt túl pontos az indulás kezdeti napjaiban, de az évek során határozottan javult. Jelenleg egyike a kevés megbízható AI-érzékelőnek, amit találsz.
ZeroGPT
A ZeroGPT teszteredményei szintén jó konzisztenciát mutattak.
Az első ember által írt mintát 0% AI-generáltnak jelölték, a második pedig 9,44% AI-generáltnak, mindkettő kényelmesen a valódi emberi írásra elfogadható tartományon belül van.
Ezzel szemben mindhárom AI által generált mintát helyesen azonosították az 100% AI által írt mintaként.
Így a tesztelési körünk a ZeroGPT-t is felveszi a megbízható AI-érzékelők listájára.
Grammarly
A Grammarly közismert név, ha arról van szó, hogy segít az íróknak nyelvtanilag pontos tartalmat előállítani, de ugyanez nem mondható el az AI-felismerő képességeiről.
Tesztünk során a Grammarly detektora vegyes és kissé ellentmondásos eredményeket mutatott.
Az AI által generált minták esetében 92%, 81% és 54% AI által generáltként jelölte meg őket, ami azt jelenti, hogy kettőt helyesen azonosított, de egy tesztet elbukott, mivel alulbecsülte az AI valószínűségét.
Az ember által írt szövegek közül az egyiket helyesen, a másikat pedig tévesen mesterséges intelligenciának minősítette.
Tehát azt mondhatjuk, hogy 60% pontos volt az elemzésünk.
Eredetiség.ai
Az Originality.ai szintén a nagyon megbízható AI detektorok közé tartozott, mivel mind az AI által generált, mind az ember által írtakat helyesen vizsgálta, és 100% magabiztos eredményt adott ki.
Az Originality.ai egy dedikált mesterséges intelligencia és plágiumfelismerő platform. Az írást granuláris szinten elemzi, és független tesztek szerint a parafrazált és szerkesztett tartalmakat is elkapja.
Az Originality.ai egyetlen csapdája, hogy nem teljesen ingyenes.
A platform 12 000 karaktert kínál az új felhasználók számára, amely után a további beolvasások kreditalapú rendszerben működnek.
Az AI detektor ára 2000 kredit (1 kredit 100 szónak felel meg), havi $14,95.
Writer.com
A Writer.com nem igazán váltotta be a hozzá fűzött reményeket a mesterséges intelligencia észlelésével kapcsolatban, annak ellenére, hogy a mesterséges intelligencia által generált szövegek előállításáról elég jó hírneve van.
Öt szövegmintából 2 mesterséges intelligenciával írt mintát tévesen emberi szövegként azonosított.
Ez azt jelenti, hogy az öt vizsgálati eredményből csak három volt pontos, ami egyértelmű melléfogás.
A Writer.com azt is bejelentette, hogy az AI-érzékelő eszköze, valamint annak API végpontja december 22-én megszűnik.
Addig is a szokásos módon fog működni. Ez azt mutatja, hogy a vállalat eltávolodik a mesterséges intelligencia észlelési térből.
Monica
Ez egy másik olyan eszköz volt, amely a tesztelés során nagyon jól teljesített.
Monica minden ember által írt és mesterséges intelligencia által generált mintát egyetlen hiba nélkül helyesen azonosított, így nyugodtan felveheti a megbízható mesterséges intelligencia detektorok listájára.
A vállalat azt állítja, hogy a ZeroGPT, a GPTZero és a Copyleaks AI elemző erősségeit egyesíti egyetlen egységes eszközben.
A rendszer hasonló a Kimutathatatlan AI, amely szintén több érzékelőt kombinál a hiteles mesterséges intelligencia észleléséhez.
Sapling AI detektor
A Sapling nem bizonyult megbízható mesterséges intelligencia detektornak, mivel mind az öt szövegmintát pontatlanul azonosította.
A mintáink közül a Sapling 2 ember által írt tartalmat azonosított 100% AI-ként, ami messze nem felel meg a valóságnak.
Ami azonban a Saplingban a leginkább kiemelkedik, az az átláthatósága. A vállalat nyíltan elismeri, hogy az AI-érzékelője rövid szövegek esetén hamis pozitív eredményeket produkálhat.
Azt is kijelenti, hogy aktívan dolgoznak a rendszer javításán, hogy csökkentsék az ilyen hibákat.
Azt is tisztázzák, hogy egyetlen jelenlegi mesterséges intelligencia detektor - beleértve a Saplingét is - sem használható önálló módszerként a szerzőség meghatározására.
Használja a AI Checker elemezni, hogy más mesterséges intelligencia detektorok mennyire megbízhatóak.
Az AI Checker a szövegminták több érzékelő eszközzel történő tesztelésével és a konzisztencia-pontszámok összehasonlításával segít feltárni, hogy mely rendszerek címkézik félre vagy jelölik túl a tartalmat.
Ez egy gyors, átlátható módszer az érzékelők pontosságának mérésére, mielőtt megbízik az eredményeikben.
A gyakori AI-felderítési módszerek magyarázata
A mesterséges intelligencia észlelése nem egy univerzális képletre épül.
Számos módszert alkalmaztak és validáltak annak megállapítására, hogy egy szöveg emberi vagy mesterséges intelligencia által írt-e.
Statisztikai nyelvi modellezés
Ez a legrégebbi és legszélesebb körben használt módszer az AI-tartalom felismerésére. A szósorozatok valószínűségének elemzésén alapul, vagyis azon, hogy az egyik szó milyen valószínűséggel követi a másikat.
A mesterséges intelligencia által generált szövegek általában alacsonyabb "perplexitásúak", tehát mondhatjuk, hogy kiszámíthatóbbak és következetesebb szerkezetűek.
Az emberek viszont variabilitást visznek be a szövegbe.
Az ilyen módszerrel működő tartalomdetektorok a perplexitást és a burstiness-t számítják ki, hogy értékeljék az eredetüket.
Metaadatok és vízjelek
Ezek a mérőszámok a szöveg szerkezete helyett a szöveg generálásának módjára irányulnak.
A vízjelezés láthatatlan jelek beágyazását jelenti a mesterséges intelligencia kimenetébe a token szintjén. Ezeket a mintákat lényegében csak speciális algoritmusok képesek felismerni.
A metaadat-felismerés olyan kontextuális adatokat vizsgál, mint az időbélyegek, a generálási sebesség és az API-hívási minták, hogy következtetni tudjon arra, hogy a mesterséges intelligencia részt vett-e az írás folyamatában.
De ismétlem, amikor a mesterséges intelligencia által generált szöveget szerkesztik, ezek a jelek elvesznek, ezért csak ellenőrzött tesztkörnyezetben működnek.
Gépi tanulási osztályozók
Az AI-érzékelők egyre inkább az AI-írás "textúrájának" felismerésére képzett gépi tanulási osztályozókra támaszkodnak.
Ezek az osztályozók több ezer nyelvi és szerkezeti jellemzőt elemeznek mind az ember által írt, mind a mesterséges intelligenciával előállított írásos adathalmazokból.
Az elemzés alapján egy valószínűségi modellt dolgoznak ki az új szövegek mesterséges intelligenciaként, emberként vagy hibridként való megjelölésére.
Ennek a megközelítésnek az az erőssége, hogy az osztályozók folyamatosan felzárkóznak az újabb generatív mesterséges intelligenciamodellek szemléletváltásához.
Próbáld ki az AI Detector és Humanizer programunkat az alábbi widgetben!
Következtetés
A "Pontosak-e az AI detektorok?" kérdésre válaszolva: Igen, számos eszköz megbízhatóan pontos, és az Undetectable AI egyike ezeknek.
Minden mesterséges intelligenciával és ember által írt tesztmintában 100% pontosságot ért el.
Az eszköz használata is ingyenes, ellentétben sok más mesterséges intelligencia detektorral, amelyek a legjobb funkcióikat fizetős falak vagy kredit alapú rendszerek mögé rejtik.
Az Undetectable AI előnye a föderatív észlelési modellben rejlik, amely több vezető észlelő erősségeit egyetlen, egységes rendszerben egyesíti.
A többrétegű megközelítés jelentősen csökkenti a hamis pozitív és hamis negatív eredmények számát.
Tehát, ha megbízható AI detektort keres, Kimutathatatlan AI az, amit ki kell próbálnod!