DetectGPT 的准确率高达 95%。它得到了斯坦福大学的支持。DetectGPT 论文被引用数百次。它在 DetectGPT github 上开源。
但这些说法有多准确呢？
在这篇DetectGPT评测中，我们将使用ZDNet的行业标准基准对DetectGPT进行测试，以验证其实际性能。
我们将介绍 DetectGPT 的工作原理、与其他检测工具的比较，以及我们的独立测试对其准确性、可靠性和实际可用性的揭示。
到最后，你就会知道《DetectGPT》是否名副其实。
让我们一探究竟。
主要收获
- DetectGPT 精确度：5-10%。它未能正确识别 4 个测试样本中的任何一个。
- DetectGPT 是斯坦福大学开发的人工智能检测器，利用概率曲率分析来识别机器生成的文本。它分析单词如何精确地组合在一起，从而发现人工智能模式。
- DetectGPT 引入了一种开创性的零镜头检测方法，无需对新模型进行再训练。开源的 GitHub 实现鼓励进一步的研究和创新。
- 在所有 4 个测试样本中，Undetectable AI 的准确率均达到 100%，在 ZDNet 的评估中一直名列前三名，实际准确率高达 90%。
什么是 DetectGPT 检测器评论？
顾名思义，DetectGPT 是一款人工智能工具，它能检测一段文字是由人写的，还是由基于 GPT 的模型生成的。
GPT = 预训练生成变换器。
它是一种在大量文本数据上训练出来的大型语言模型，用于预测序列中的下一个单词。例如ChatGPT、GPT-3 和 GPT-4 都属于这个系列。
再也不用担心人工智能检测到你的短信了 Undetectable AI 可以帮助您：
- 让人工智能辅助写作显现出来 像人一样
- 旁路 只需点击一下，就能使用所有主要的人工智能检测工具。
- 使用 人工智能 安全地 和 自信地 在学校和工作中。
DetectGPT 由斯坦福大学计算机科学研究生埃里克-安东尼-米切尔及其研究团队开发。
他们的 DetectGPT 论文、 "DetectGPT：使用概率曲率的零镜头机器生成文本检测"，《DetectGPT：使用概率曲率的零镜头机器生成文本检测 于 2023 年 1 月出版，随后在 2023 年 ICML 上发表。
DetectGPT 2023》一文成为人工智能检测领域的参考文献。
那是 ChatGPT 最受欢迎的时候，全世界都在努力将人类文字与机器生成的文字区分开来。
从某种程度上说，DetectGPT 成为了应对新型威胁的早期防线。那么，这是否意味着当时还没有人工智能 AI 检测器呢？错。
当时有一些检测工具，但大多数都严重依赖于标注数据集。它们必须经过数千个人工智能和人类文本实例的训练，才能做出猜测。
DetectGPT 没有。
它依靠的不是模式匹配实例，而是一个数学概念，称为 对数概率曲率.
这样想...
- 当人工智能模型写作时，它往往会选择一些过于完美的词语，因此它总是坐在... "安全区" 的概率。
- 另一方面，人类的写作自然是参差不齐的。它有时很笨拙，而且难以预测。
DetectGPT 发现了这一差异。
这一过程被称为扰动差异，它使 DetectGPT 无需任何预训练就能做出高度准确的判断。
它很快成为当时最受推崇和学术界引用的人工智能探测器之一。
DetectGPT 的主要功能
以下是 DetectGPT 的核心功能：
- 零镜头检测引擎 每次发布新模型（即概率曲线）时，无需重新训练即可检测人工智能生成的文本。
- 快速检测 GPT 速度和规模： 升级版 Fast-DetectGPT 可实现快速、大量检测，比原版更快、更高效。
- 开源基金会： 由于其框架是公开共享的，开发人员能够复制和调整它。DetectGPT 的开源实现激发了 DetectGPT github 上的许多项目，开发人员在那里继续构建和改进检测模型和应用程序接口。 如今，DetectGPT GitHub 存储库已成为全球研究人员和开发人员的资源库。
- 高精度索赔： 检测精度高达 99%，优于 DetectGPT 论文中记录的 95% AUROC 原始学术基准。
- 批量检测和报告： 支持批量文件扫描（每批扫描 10-50 个文件），并为教育工作者和企业生成可下载的 PDF 报告。
- 集成应用程序接口： 提供简单的应用程序接口，可无缝集成到现有平台、应用程序或内容工作流中。
- 人工智能内容人性化器： 包括一项附加功能，可改写人工智能生成的文本，使其听起来更自然、更像人类。
- 集成剽窃和事实检查功能： 交叉检查文本的原创性和事实准确性，以确保可信度。
- 可读性评分： 评估并改进句子的流畅性、语气和清晰度，以提高整体可读性。
DetectGPT 检测器如何工作？
我们可以通过两种方式访问 DetectGPT：
- 网络应用程序
- 浏览器扩展
以下是这两个版本的典型操作步骤：
- 访问平台： 访问 DetectGPT 网站或确保浏览器扩展处于激活状态。
- 输入内容： 将文本复制并粘贴到输入框中。如果使用扩展名，只需点击 "刷新" 或 "扫描" 同时查看要分析的页面。
- 启动分析： 点击 "检查内容。"然后，系统会根据 "DetectGPT 2023 "文件中描述的方法检查您的内容。
- 审查结果： 几秒钟内，DetectGPT 就会显示分析分数，通常是一个百分比，显示文本由人工智能生成的可能性有多大。
测试 DetectGPT 的准确性
我们使用 ZDNet 广受认可的基准方法对 DetectGPT 进行了测试。
我们使用了四个样本块：
- 第 1 组（人工书写，正式）→ 研究报告
- 第 2 块（人工书写，非正式）→ 加里-哈尔伯特信件节选
- 第 3 块（人工智能生成，基本）→ ChatGPT 3.5 输出
- 第 4 块（人工智能生成的创意提示）→ 详细、复杂的人工智能文本
结果
| 样块 | 真正的起源 | 检测GPT 检测 | 说明 |
| 第 1 座 | 100% 人类 | 21% 混合型、0% AI | 被误划为部分人工智能 |
| 第 2 座 | 100% 人类 | 11% 混合型、0% AI | 略微标记为混合 |
| 第 3 座 | 100% AI | 85% 人类、15% 混合型 | 未能准确检测人工智能 |
| 第 4 座 | 100% AI | 14% 混合型、0% AI | 大部分被错误地归类为人类 |
模块 1 的结果（人工书写，格式化）
第 2 部分的结果（人工书写，非正式）
第 3 组结果（人工智能生成，香草色）
第 4 块的结果（人工智能生成，风格化）
在 4 个样本中，没有一个被正确分类为 100%，但有 2 个样本（区块 1 和区块 2）有小部分识别（"混合 "检测），可以说是非常小的部分成功。
一个公平的、以数据为导向的说法是，DetectGPT 在这次测试中达到了 ~5-10% 的实际精度，尽管在最初的 DetectGPT 论文中显示了很有希望的结果，但对于专业用途来说，这基本上是不可靠的。
接下来，我们测试了 检测不到的人工智能 采用与之前相同的 ZDNet 基准方法。
| 样品 | 实际 | 检测不到的人工智能检测 | 准确性 |
| 第 1 座 | 100% 人类 | 100% 人类 | 正确 |
| 第 2 座 | 100% 人类 | 100% 人类 | 正确 |
| 第 3 座 | 100% AI | 99% AI | 正确 |
| 第 4 座 | 人工智能 | 86% AI | 正确 |
检测不到的人工智能 准确地对所有 4 个样本进行了分类。
在 ZDNet 进行的独立评估中，Undetectable AI 一直名列检测工具前三名。
它是少数几个能够正确识别不同写作风格和复杂程度的人工智能和人类内容的平台之一。
DetectGPT 的利弊
以下是 DetectGPT 的优缺点：
| 优点 | 缺点 |
| 使用概率曲率检测人工智能文本。新模型无需重新训练。 | 在测试中，它只能部分识别 4 个样本中的 2 个。 |
| 令牌级分析使其速度提高了 340 倍，并可进行实时扩展。 | 通常会将正式或结构化的人类文本（如研究论文）标记为人工智能生成。 |
| 斯坦福大学的研究为其提供了支持，并通过 DetectGPT 2023 论文在 ICML 和 ICLR 上发表。 | 努力识别 ChatGPT-3.5 和样式新颖的 GPT 输出。 |
| 核心研究成果和代码可通过 DetectGPT github 和各种 DetectGPT 开源实施项目公开获取。 | 由于性能不稳定，它不适合在教育、搜索引擎优化或合规工作流程中专业使用。 |
DetectGPT 与检测不到的人工合成
下面是根据实际测试结果和经过验证的性能进行的简单实用的比较：
| 标准 | DetectGPT | 检测不到的人工智能 |
| 核心功能 | 使用概率曲线检测人工智能文本。 | 检测并改写人工智能文本，使其完全人性化。 |
| 准确性 | 号称精确度达到 95%+，但在我们的 ZDNet 式测试中仅获得 40-50% 左右的分数。 | 一直被 ZDNet 评为前三名，实际准确率为 85-90%。 |
| 整合 | 只能检测。Humanizer 是一个单独的付费插件。 | 内置人性化功能--在一个地方检测和修复内容。 |
| 易用性 | 需要单独的检查和改写步骤。 | 单一工作流程。即时检测、人性化处理和验证。 |
| 价格 | 每月 $15，50,000 字。 | $9.99/月，10,000 字（灵活计划）。 |
在下面的小工具中了解我们的人工智能检测器和人性化设计器！
常见问题
什么是 DetectGPT？
DetectGPT 由斯坦福大学开发，通过分析人工智能文本的统计可预测性（对数概率曲率）来检测人工智能撰写的文本。
这是一种 "零次射击 "方法，也就是说，它无需对每个新的人工智能模型进行重新训练。
DetectGPT 是免费使用的吗？
核心研究和开源代码在 GitHub 上免费提供。但带有人工智能人性化功能、剽窃检查器和更高限制的商业版本每月收费 $15，字数为 50,000 字。
DetectGPT 可以检测 GPT-3 和 ChatGPT 中的内容吗？
我们的测试显示，它未能识别 ChatGPT 3.5 输出。它将其归类为 85% 人工生成，而不是人工智能生成，这使得它在此特定用途上变得不可靠。
最终结论
DetectGPT 论文介绍了一种智能的零镜头方法，该方法可分析 "可预测" 文本中的单词，以发现人工智能写作。
但是，理论上行得通的东西在实践中并不总是站得住脚。
在我们的测试中，DetectGPT 的实际准确率仅为 5-10%。
它经常将人类撰写的研究论文标注为人工智能论文，而漏掉明显的 ChatGPT 生成的文本。
对于检查学生作业的教师、保护自己信誉的作家或保持内容合规的企业来说，这种不一致是有风险的。
以下是使用前的注意事项：
- 如果你是研究人员或开发人员：GitHub 代码非常适合您学习或构建自己的人工智能检测工具。
- 如果您需要可靠的检测：在实际测试中，Undetectable AI 的表现要好得多。它的准确率高达 90%，还能将标记的文本改写成完全人性化的声音，而且成本更低。
- 如果您正在研究人工智能检测：DetectGPT 论文仍然值得一读，但请记住，它的 "95%精度" 是基于实验室测试，而不是真实世界的结果。
人工智能检测工具进步很快。DetectGPT 的研究值得称赞，但当准确性很重要时，还是选择在实验室外经过测试和验证的工具吧。
尝试 检测不到的人工智能 今天就开始使用，以确保您的内容保持真实、人性化，并能被可靠地检测到。