Обзор DetectGPT: Честный разбор и основные выводы

Точность DetectGPT составляет 95%. Его поддерживает Стэнфорд. Статья DetectGPT имеет сотни ссылок. Открытый исходный код DetectGPT находится на github.

Но насколько точны эти утверждения? 

В этом обзоре DetectGPT мы протестируем его с помощью стандартного отраслевого бенчмарка ZDNet, чтобы убедиться в его реальной производительности.

Мы расскажем о том, как работает DetectGPT, как он сравнивается с другими инструментами обнаружения, и что показало наше независимое тестирование его точности, надежности и практичности.

К концу вы поймете, оправдывает ли DetectGPT все ожидания или нет.

Давайте узнаем.

---

Основные выводы

• Точность DetectGPT: 5-10%. Не удалось правильно идентифицировать ни один из 4 тестовых образцов.

• DetectGPT - это разработанный в Стэнфорде детектор ИИ, который использует анализ кривизны вероятности для выявления текста, созданного машиной. Он анализирует, насколько точно слова сочетаются друг с другом, чтобы обнаружить шаблоны ИИ. 

• DetectGPT представил новаторский метод обнаружения нулевых выстрелов, который не требует переобучения новых моделей. Реализация с открытым исходным кодом на GitHub стимулирует дальнейшие исследования и инновации.

• Undetectable AI достиг точности 100% во всех 4 тестовых образцах и постоянно входит в тройку лучших инструментов в оценках ZDNet с точностью до 90% в реальном мире.

---

Что представляет собой обзор детектора DetectGPT?

Как следует из названия, DetectGPT - это инструмент искусственного интеллекта, который определяет, был ли текст написан человеком или сгенерирован моделью на основе GPT. 

GPT = генеративный предварительно обученный трансформатор.

Это тип большой языковой модели, обученной на огромном количестве текстовых данных для предсказания следующего слова в последовательности. Пример: ChatGPT, GPT-3 и GPT-4 - все они принадлежат к этому семейству.

DetectGPT был разработан аспирантом Стэнфордского университета по информатике Эриком Энтони Митчеллом и его исследовательской группой. 

Их работа DetectGPT, "DetectGPT: Обнаружение текста, сгенерированного машиной с нулевым выстрелом, с помощью кривизны вероятности". была опубликована в январе 2023 года и позже представлена на ICML 2023.

Документ DetectGPT 2023 стал отправной точкой в области обнаружения ИИ.

Это было время, когда популярность ChatGPT была на пике, а мир с трудом отличал человеческий текст от машинного. 

В каком-то смысле DetectGPT стал ранней линией обороны от нового вида угроз. Значит ли это, что в те времена не существовало детекторов ИИ? Неверно. 

Существовало несколько инструментов обнаружения, но большинство из них в значительной степени зависели от наборов данных с метками. Их нужно было обучить на тысячах примеров текстов ИИ и человека, прежде чем они могли сделать предположение. 

DetectGPT не сделал этого. 

Вместо примеров, соответствующих образцу, она опирается на математическую концепцию, называемую кривизна вероятности. 

Подумайте об этом так...

• Когда модель ИИ пишет, она склонна выбирать слова, которые подходят слишком идеально, поэтому она всегда сидит в "Безопасная зона" вероятности. 
• С другой стороны, человеческое письмо от природы неровное. Оно иногда неловко и непредсказуемо. 

DetectGPT улавливает эту разницу.

Этот процесс называется расхождением возмущений и позволяет DetectGPT делать высокоточные суждения без предварительного обучения.

Он быстро стал одним из самых уважаемых и академически цитируемых детекторов ИИ своего времени.

Ключевые особенности DetectGPT

Вот основные возможности DetectGPT:

• Система обнаружения нулевого выстрела: Обнаружение текста, созданного искусственным интеллектом, без переобучения для каждого нового выпуска модели (т.е. кривой вероятности).
  
• Быстрое обнаружениеGPT Скорость и масштаб: Обновленная версия Fast-DetectGPT обеспечивает быстрое обнаружение больших объемов, что быстрее и эффективнее оригинала.
  
• Фонд открытого исходного кода: Поскольку фреймворк находился в открытом доступе, разработчики могли копировать и адаптировать его. Реализация DetectGPT с открытым исходным кодом вдохновила множество проектов на github, где разработчики продолжают создавать и совершенствовать модели обнаружения и API. Сегодня репозиторий DetectGPT на GitHub является ресурсом для исследователей и разработчиков по всему миру.
  
• Заявления о высокой точности: Достигнута точность обнаружения до 99%, что превосходит оригинальный академический эталон 95% AUROC, зафиксированный в документе DetectGPT.

• Обнаружение и отчетность по партиям: Поддерживает массовое сканирование документов (10-50 файлов на партию) и генерирует загружаемые отчеты в формате PDF для образовательных учреждений и предприятий.
  
• Интеграция API: Предоставляет простой API для беспрепятственной интеграции в существующие платформы, приложения или рабочие процессы с контентом.
  
• ИИ-гуманизатор контента: Включает дополнительную функцию, которая переписывает текст, созданный искусственным интеллектом, чтобы он звучал более естественно и по-человечески.
  
• Интегрированная проверка на плагиат и факты: Перекрестная проверка текста на оригинальность и точность фактов для обеспечения достоверности.
  
• Оценка читабельности: Оценивает и улучшает поток предложений, тон и ясность, чтобы повысить общую читабельность.

Как работает детектор DetectGPT?

Мы можем получить доступ к DetectGPT двумя способами:

• Веб-приложение
• Расширение для браузера

Вот как обычно работают обе версии, шаг за шагом:

1. Доступ к платформе: Перейдите на сайт DetectGPT или убедитесь, что расширение для браузера активно.
   
2. Входное содержимое: Скопируйте и вставьте текст в поле ввода. Если вы используете расширение, просто нажмите кнопку "обновить" или "сканировать" во время просмотра анализируемой страницы.
   
3. Начните анализ: Нажмите "Проверьте содержимое"." Затем система проверит ваш контент, основываясь на методологии, описанной в документе DetectGPT 2023.

4. Результаты обзора: В течение нескольких секунд DetectGPT выводит результат анализа, обычно в процентах, показывая, насколько вероятно, что текст был создан искусственным интеллектом. 

Проверка точности DetectGPT

Мы протестировали DetectGPT по общепризнанной методике ZDNet.

Мы использовали четыре блока образцов:

1. Блок 1 (человеко-письменный, формальный) → исследовательская работа
2. Блок 2 (человеко-письменный, неформальный) → Отрывок из писем Гэри Хэлберта
3. Блок 3 (сгенерированный ИИ, базовый) → ChatGPT 3.5 выход
4. Блок 4 (ИИ-генерируемый, творческий запрос) → подробный, сложный текст ИИ

Результаты:

Образец блока	Истинное происхождение	DetectGPT Detection	Примечания
Блок 1	100% Человек	21% Mixed, 0% AI	Ошибочная классификация как частичный ИИ
Блок 2	100% Человек	11% Mixed, 0% AI	Слегка отмечен как смешанный
Блок 3	100% AI	85% человек, 15% смесь	Не удалось точно обнаружить ИИ
Блок 4	100% AI	14% Mixed, 0% AI	Неправильно классифицированы в основном как люди

Результат блока 1 (человеко-письменный, формальный)

Результат блока 2 (человеко-письменный, неформальный)

Результат блока 3 (сгенерированный ИИ, ваниль)

Результат блока 4 (сгенерированный ИИ, стилизованный)

Из 4 образцов ни один не был правильно классифицирован 100%, но 2 (Блок 1 и 2) имели небольшое частичное распознавание ("смешанное" распознавание), что можно считать очень незначительным частичным успехом.

Справедливый, основанный на данных способ заявить об этом заключается в том, что DetectGPT достиг практической точности ~5-10% в этом тесте, что, по сути, ненадежно для профессионального использования, несмотря на многообещающие результаты, показанные в оригинальной статье DetectGPT.

Далее мы проверили Необнаруживаемый ИИ с использованием той же методологии бенчмарка ZDNet, которая применялась ранее.

Образец	Фактический	Необнаруживаемое обнаружение искусственного интеллекта	Точность
Блок 1	100% Человек	100% Человек	Правильно
Блок 2	100% Человек	100% Человек	Правильно
Блок 3	100% AI	99% AI	Правильно
Блок 4	AI	86% AI	Правильно

Необнаруживаемый ИИ точно классифицировал все 4 образца. 

Когда ZDNet проводил собственную независимую оценку, Undetectable AI неизменно входил в тройку лучших инструментов обнаружения.

Она оказалась одной из немногих платформ, способных правильно идентифицировать контент, написанный как искусственным интеллектом, так и человеком, в разных стилях и на разных уровнях сложности.

Плюсы и минусы DetectGPT

Вот плюсы и минусы DetectGPT:

Плюсы	Cons
Обнаружение текста ИИ с помощью вероятностной кривизны. Новые модели не требуют переобучения.	При тестировании он лишь частично идентифицировал 2 из 4 образцов.
Анализ на уровне токенов делает его на 340× быстрее и масштабируемым для использования в режиме реального времени.	Зачастую формальные или структурированные человеческие тексты (например, научные статьи) выдаются за созданные искусственным интеллектом.
Подтверждено исследованиями Стэнфорда и опубликовано в ICML и ICLR в документе DetectGPT 2023.	Затрудняюсь определить ChatGPT-3.5 и творчески оформленные выходы GPT.
Основные исследования и код находятся в открытом доступе на github и в различных проектах реализации DetectGPT с открытым исходным кодом.	Несоответствие производительности делает его непригодным для профессионального использования в сфере образования, SEO или соблюдения нормативных требований.

DetectGPT против необнаруживаемого ИИ

Вот простое, практичное сравнение, основанное на реальных результатах тестов и проверенной производительности:

Критерий	DetectGPT	Необнаруживаемый ИИ
Основная функция	Обнаружение текста искусственного интеллекта с помощью кривых вероятности.	Обнаруживает и переписывает текст ИИ, чтобы сделать его полностью человеческим.
Точность	Заявлена точность 95%+, но в нашем тесте в стиле ZDNet она составила всего 40-50%.	Постоянно входит в топ-3 рейтинга ZDNet с точностью 85-90% в реальном мире.
Интеграция	Только обнаруживает. Humanizer - это отдельное платное дополнение.	Встроенный гуманизатор - обнаруживайте и исправляйте содержимое в одном месте.
Простота использования	Требуются отдельные шаги для проверки и переписывания.	Единый рабочий процесс. Обнаружение, гуманизация и мгновенная проверка.
Цена	$15/месяц за 50 000 слов.	$9.99/месяц за 10 000 слов (гибкие планы).

Ознакомьтесь с нашим детектором искусственного интеллекта и гуманизатором в виджете ниже!

Вопросы и ответы

Окончательный вердикт

В работе DetectGPT представлен интеллектуальный метод с нулевым результатом, который анализирует, как "предсказуемый" слова в тексте, чтобы обнаружить надпись AI. 

Но то, что работает в теории, не всегда подтверждается на практике.

В нашем тестировании DetectGPT достигла лишь 5-10% реальной точности. 

Он часто помечал написанные человеком научные работы как написанные искусственным интеллектом и пропускал очевидный текст, сгенерированный ChatGPT. 

Для преподавателей, проверяющих работы учеников, писателей, защищающих свой авторитет, или компаний, обеспечивающих соответствие контента требованиям, такая непоследовательность рискованна.

Вот что нужно знать перед его использованием:

• Если вы исследователь или разработчик: Код на GitHub отлично подходит для обучения или создания собственных инструментов обнаружения ИИ.
  
• Если вам нужно надежное обнаружение: Undetectable AI показал гораздо лучшие результаты в реальных тестах. Его точность достигает 90%, кроме того, он переписывает помеченный текст так, чтобы он звучал полностью по-человечески, и все это по более низкой цене.
  
• Если вы изучаете обнаружение ИИ: Документ DetectGPT все еще стоит прочитать, но помните, что его "Точность 95%" основана на лабораторных испытаниях, а не на реальных результатах.

Инструменты для обнаружения ИИ быстро совершенствуются. DetectGPT заслуживает похвалы за свои исследования, но когда важна точность, выбирайте инструмент, который был протестирован и проверен вне лаборатории.

Попробуйте Необнаруживаемый ИИ Сегодня, чтобы ваш контент оставался подлинным, похожим на человеческий и надежно распознавался.