Огляд DetectGPT: Чесна розбивка та ключові висновки

DetectGPT має точність 95%. Він підтримується Стенфордом. Документ DetectGPT має сотні посилань. Він має відкритий вихідний код на DetectGPT github.

Але наскільки точними є ці твердження? 

У цьому огляді ми протестуємо DetectGPT за допомогою стандартного галузевого тесту ZDNet, щоб перевірити його реальну продуктивність.

Ми розповімо про те, як працює DetectGPT, як він порівнюється з іншими інструментами виявлення, а також про те, що показало наше незалежне тестування щодо його точності, надійності та практичної корисності.

Наприкінці ви дізнаєтеся, чи виправдовує DetectGPT свої сподівання чи ні.

Давай з'ясуємо.

---

Основні висновки

• DetectGPT Точність: 5-10%. Не вдалося правильно ідентифікувати жоден з 4 тестових зразків.

• DetectGPT - це розроблений у Стенфорді детектор ШІ, який використовує аналіз кривизни ймовірностей для ідентифікації машинного тексту. Він аналізує, наскільки точно слова поєднуються один з одним, щоб виявити патерни штучного інтелекту. 

• DetectGPT представив новаторський метод виявлення з нульовим пострілом, який не вимагає перенавчання для нових моделей. Реалізація з відкритим вихідним кодом на GitHub заохочує подальші дослідження та інновації.

• Undetectable AI досягнув точності 100% у всіх 4 тестових зразках і стабільно входить до трійки лідерів в оцінках ZDNet з точністю до 90% в реальних умовах.

---

Що таке огляд детектора DetectGPT?

Як випливає з назви, DetectGPT - це інструмент штучного інтелекту, який визначає, чи був фрагмент тексту написаний людиною, чи згенерований моделлю на основі GPT. 

GPT = Генеративний попередньо навчений трансформатор.

Це тип великої мовної моделі, яка навчається на великих обсягах текстових даних, щоб передбачати наступне слово в послідовності. Приклад: ChatGPT, GPT-3 і GPT-4 належать до цього сімейства.

DetectGPT був розроблений аспірантом комп'ютерних наук Стенфордського університету Еріком Ентоні Мітчеллом та його дослідницькою групою. 

Їхній документ DetectGPT, "DetectGPT: Виявлення машинного тексту з нульовим пострілом за допомогою кривої ймовірності". був опублікований у січні 2023 року і згодом презентований на ICML 2023.

Документ DetectGPT 2023 став орієнтиром у сфері виявлення ШІ.

Це був час, коли популярність ChatGPT була на піку, а світ намагався відрізнити людське письмо від машинного тексту. 

У певному сенсі DetectGPT став ранньою лінією захисту від нового типу загроз. Чи означає це, що тоді ще не було АІ-детекторів? Не зовсім так. 

Існувало кілька інструментів виявлення, але більшість з них значною мірою покладалися на марковані набори даних. Їх потрібно було тренувати на тисячах прикладів ШІ та людського тексту, перш ніж вони могли зробити здогад. 

DetectGPT цього не зробив. 

Замість прикладів, що відповідають шаблонам, він спирався на математичну концепцію, яка називається кривизна логарифму ймовірностей. 

Подумайте про це так...

• Коли ШІ-модель пише, вона схильна вибирати слова, які підходять занадто ідеально, тому вона завжди сидить в "безпечна зона" ймовірності. 
• З іншого боку, людське письмо від природи нерівне. Іноді воно буває незграбним і непередбачуваним. 

DetectGPT вловлює цю різницю.

Цей процес називається розбіжністю збурень і дозволяє DetectGPT робити високоточні висновки без будь-якого попереднього навчання.

Він швидко став одним з найбільш шанованих і цитованих ШІ-детекторів свого часу.

Ключові особливості DetectGPT

Ось основні можливості DetectGPT:

• Система виявлення нульового пострілу: Розпізнає текст, згенерований ШІ, без перенавчання для кожної нової версії моделі (тобто кривої ймовірності).
  
• Швидкість та шкала Fast-DetectGPT: Оновлена версія Fast-DetectGPT забезпечує швидке виявлення великих обсягів даних, яке є швидшим та ефективнішим за оригінальну версію.
  
• Фонд з відкритим вихідним кодом: Оскільки його фреймворк знаходиться у відкритому доступі, розробники змогли відтворити та адаптувати його. Реалізація DetectGPT з відкритим вихідним кодом надихнула багато проектів на DetectGPT github, де розробники продовжують створювати та вдосконалювати моделі виявлення та API. Сьогодні репозиторій DetectGPT на GitHub є ресурсом для дослідників і розробників по всьому світу.
  
• Високі вимоги до точності: Забезпечує точність виявлення до 99%, перевершуючи оригінальний академічний еталон 95% AUROC, задокументований в документі DetectGPT.

• Виявлення партій та звітування: Підтримує масове сканування документів (10-50 файлів за партію) і генерує звіти у форматі PDF, які можна завантажити для освітян і підприємств.
  
• Інтеграція API: Надає простий API для безперешкодної інтеграції з існуючими платформами, додатками або робочими процесами для роботи з контентом.
  
• Олюднювач контенту зі штучним інтелектом: Включає додаткову функцію, яка переписує згенерований ШІ текст так, щоб він звучав більш природно і схоже на людську мову.
  
• Інтегрована перевірка на плагіат та перевірка фактів: Перехресна перевірка тексту на оригінальність і фактичну точність для забезпечення достовірності.
  
• Оцінка читабельності: Оцінює та покращує потік речень, тон і чіткість, щоб покращити загальну читабельність.

Як працює детектор DetectGPT?

Ми можемо отримати доступ до DetectGPT двома способами:

• Веб-додаток
• Розширення браузера

Ось як зазвичай працюють обидві версії, крок за кроком:

1. Доступ до Платформи: Перейдіть на сайт DetectGPT або переконайтеся, що розширення браузера активне.
   
2. Ввести вміст: Скопіюйте та вставте текст у поле введення. Якщо ви використовуєте розширення, просто натисніть "оновити" або "сканування" під час перегляду сторінки, яку ви хочете проаналізувати.
   
3. Почати аналіз: Клац! "Перевірити вміст." Потім система перевіряє ваш контент на основі методології, описаної в документі DetectGPT 2023.

4. Результати огляду: За лічені секунди DetectGPT показує результат аналізу, зазвичай у відсотках, який показує, наскільки ймовірно, що текст був згенерований ШІ. 

Тестування визначає точність визначення GPT

Ми протестували DetectGPT за допомогою широко визнаної методології ZDNet.

Ми використали чотири блоки зразків:

1. Блок 1 (написаний людиною, формальний) → дослідницьку роботу
2. Блок 2 (написаний людиною, неформальний) → уривок з листів Гарі Гальберта
3. Блок 3 (ШІ-генерований, базовий) → Вихід ChatGPT 3.5
4. Блок 4 (Творча підказка, створена штучним інтелектом) → детальний, складний текст зі штучним інтелектом

Результати:

Блок зразків	Справжнє походження	DetectGPT Виявлення	Примітки
Блок 1	100% Людина	21% змішаний, 0% AI	Неправильно класифіковано як частково штучний інтелект
Блок 2	100% Людина	11% змішаний, 0% AI	Злегка позначені як змішані
Блок 3	100% AI	85% людський, 15% змішаний	Не вдалося точно виявити ШІ
Блок 4	100% AI	14% змішаний, 0% AI	Неправильно класифікують переважно як людину

Результат Блоку 1 (написаний людиною, формальний)

Результат Блоку 2 (написаний людиною, неформальний)

Результат блоку 3 (ШІ-генерований, ванільний)

Результат блоку 4 (згенерований ШІ, стилізований)

З 4 зразків жоден не був правильно класифікований як 100%, але 2 (Блок 1 і 2) мали невелике часткове розпізнавання ("змішане" виявлення), що можна вважати дуже незначним частковим успіхом.

Справедливим, заснованим на даних способом стверджувати, що DetectGPT досягнув ~5-10% практичної точності в цьому тесті, який, по суті, є ненадійним для професійного використання, незважаючи на багатообіцяючі результати, показані в оригінальній статті DetectGPT.

Далі ми протестували ШІ, який неможливо виявити з використанням тієї ж методології бенчмарку ZDNet, що застосовувалася раніше.

Зразок	Власне	Непомітне виявлення ШІ	Точність
Блок 1	100% Людина	100% Людина	Правильно.
Блок 2	100% Людина	100% Людина	Правильно.
Блок 3	100% AI	99% AI	Правильно.
Блок 4	ШІ	86% AI	Правильно.

ШІ, який неможливо виявити точно класифікували всі 4 зразки. 

Коли ZDNet проводила власну незалежну оцінку, Undetectable AI постійно входив до трійки найкращих інструментів виявлення.

Це була одна з небагатьох платформ, здатних правильно ідентифікувати як ШІ, так і людський контент у різних стилях написання та рівнях складності.

Плюси та мінуси DetectGPT

Ось плюси і мінуси DetectGPT:

Плюси	Мінуси
Розпізнає ШІ-текст, використовуючи криву ймовірності. Не потребує перенавчання для нових моделей.	Під час тестування він лише частково ідентифікував 2 з 4 зразків.
Аналіз на рівні токенів робить його в 340 разів швидшим і масштабованим для використання в режимі реального часу.	Часто позначає формальний або структурований людський текст (наприклад, наукові роботи) як створений штучним інтелектом.
Підтримується Стенфордськими дослідженнями та опублікована в ICML та ICLR в статті DetectGPT 2023.	Намагався ідентифікувати ChatGPT-3.5 та креативно оформлені GPT-виходи.
Основні дослідження та код знаходяться у відкритому доступі на DetectGPT github та в різних проектах реалізації DetectGPT з відкритим кодом.	Неузгодженість продуктивності робить його непридатним для професійного використання в освіті, SEO або в робочих процесах, пов'язаних з дотриманням нормативних вимог.

DetectGPT проти штучного інтелекту, який неможливо виявити

Ось просте, практичне порівняння, засноване на реальних результатах тестування та перевіреній продуктивності:

Критерій	DetectGPT	ШІ, який неможливо виявити
Основна функція	Розпізнає ШІ-текст за допомогою кривих ймовірності.	Розпізнає та переписує текст зі штучним інтелектом, щоб зробити його повністю людським.
Точність	Заявлена точність 95%+, але набрала лише близько 40-50% у нашому тесті в стилі ZDNet.	Постійно входить в Топ-3 за версією ZDNet з точністю 85-90% в реальних умовах.
Інтеграція	Тільки виявляє. Гуманізатор - окреме платне доповнення.	Вбудований гуманізатор - виявляйте та виправляйте контент в одному місці.
Простота використання	Потребує окремих кроків для перевірки та переписування.	Єдиний робочий процес. Виявляйте, гуманізуйте та перевіряйте миттєво.
Ціна	$15/місяць за 50 000 слів.	$9.99/місяць за 10 000 слів (гнучкі тарифи).

Вивчіть наш ШІ-детектор і гуманізатор у віджеті нижче!

Поширені запитання

Остаточний вердикт

У статті DetectGPT представлено розумний метод "нульового пострілу", який аналізує, як "передбачуваний" слів у тексті, щоб виявити написане ШІ. 

Але те, що працює в теорії, не завжди працює на практиці.

У нашому тестуванні DetectGPT досягнув лише 5-10% реальної точності. 

Він часто позначав написані людиною наукові роботи як ШІ і пропускав очевидний текст, згенерований ChatGPT. 

Для вчителів, які перевіряють учнівські роботи, авторів, які захищають свою репутацію, або компаній, які дотримуються вимог до контенту, така непослідовність є ризикованою.

Ось що потрібно знати перед його використанням:

• Якщо ви дослідник або розробник: Код на GitHub чудово підходить для навчання або створення власних інструментів для розпізнавання ШІ.
  
• Якщо вам потрібне надійне виявлення: ШІ, який неможливо виявити, показав набагато кращі результати в реальних тестах. Він показав точність до 90%, а також переписує помічений текст так, щоб він звучав як людський, і все це за меншу ціну.
  
• Якщо ви вивчаєте виявлення ШІ: Статтю DetectGPT все ще варто прочитати, але пам'ятайте, що її "Точність 95%" базується на лабораторних дослідженнях, а не на реальних результатах.

Інструменти для виявлення ШІ швидко вдосконалюються. DetectGPT заслуговує на похвалу за свої дослідження, але коли точність має значення, використовуйте інструмент, протестований і перевірений за межами лабораторії.

Спробуй ШІ, який неможливо виявити сьогодні, щоб ваш контент залишався автентичним, схожим на людський і надійно виявлявся.