人工智能检测器准确吗?工具背后的真相

如今,您所接触到的每一种人工智能检测工具都可能夸下海口,声称自己的准确度 > 95%。有些甚至说它们的可靠性达到 100%! 

但人工智能探测器准确吗?真的准确吗?

人工智能模型在不断更新。例如,与我们在 2022 年看到的版本相比,当前版本的 ChatGPT 更加细致入微,对语境的感知能力也更强。

因此,许多人工智能检测器很难准确地将其文本标记为人工智能生成的文本,这是很自然的。 

不可否认,有些工具的性能比其他工具更好。但是,要想知道哪些工具真正符合自己的要求,就需要对它们进行测试。

这正是我们在本文中所做的。

我们在 ZDNet 使用的同一基准上对 10 种最流行的人工智能检测器进行了评估,以了解人工智能检测器的准确性。 

以下是我们的发现!


主要收获

  • 人工智能检测器分析词频、句子变化和语法,以确定文本是由人类撰写还是由人工智能生成。
  • 很多工具的人工智能检测并不是100%万无一失的,因为很多人类和人工智能写作的语法结构是相同的,这会导致误报和漏报。
  • 准确检测人工智能内容的三种主要技术是统计语言建模、元数据和水印以及机器学习分类器
  • Undetectable AI 将多种检测算法整合到一个联合系统中。它可提供免费、可靠的人工智能检测,而无需像付费工具那样进行常见的权衡。


人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

什么是人工智能探测器,它们如何工作?

人工智能检测器是一种工具,可确定一段文字是由人类撰写还是由人工智能生成。

该系统可将文本分解为可测量的特征,然后扫描显示机器作者身份的模式。

人工智能生成的文本往往遵循统计模式。语言模型的训练目的是预测序列中的下一个单词,因此它们的写作是建立在概率基础上的,从而产生微妙的痕迹。

人工智能检测 人工智能检测

再也不用担心人工智能检测到你的短信了 Undetectable AI 可以帮助您:

  • 让人工智能辅助写作显现出来 像人一样
  • 旁路 只需点击一下,就能使用所有主要的人工智能检测工具。
  • 使用 人工智能 安全地自信地 在学校和工作中。
免费试用

人工智能检测器通过分析词频、句子结构的多样性、句法的复杂性以及措辞的整体随机性(或缺乏随机性)来捕捉这些蛛丝马迹。

人工智能检测器使用的两个最重要的指标是

  1. 困惑: 它是衡量模型对句子中下一个词的 "惊讶 "程度的标准。人类写作通常会表现出更高的困惑度,因为人们会偏离模式、使用成语、插入情感等,而人类写作则不同。 人工智能生成的写作.
  1. 爆发力:它可以测量句子长度和节奏的变化。人类在书写时自然会出现句子长短不一的情况,而人工智能书写的内容则长短一致。 

人工智能检测为何如此困难

尽管人类写作与人工智能写作存在差异,但检测人工智能生成的文本却有些困难,尤其是在文本经过编辑的情况下。 

原因如下。 

人类与人工智能写作的相似之处

无论是人类写作还是人工智能写作,其核心都是使用相同的语法、时态、句法和措辞等语言系统。

人工智能模型不会从零开始发明语言。

它们只是学习人类在其成长之前的岁月里已经写下的东西。

它们所训练的数据集本身就是人为编写的。

因此,任何完善的人工智能生成工具都会内化人类的表达模式,并尝试复制它们。

它们消耗的数据越多,它们的写作就越 "像人"。

假阳性和假阴性

人工智能探测器并非无懈可击。 

当人工撰写的文本被错误地标记为人工智能生成的文本时,就会出现误报。 

相反,如果人工智能编写的文本没有被检测到,就会出现假阴性。 

这两种错误标签都很常见。

由于许多人工智能检测器依靠的是统计概率而非事实确定性,因此其准确性仍然有限。

恒定模型演变

人工智能检测是一个不断变化的目标。每一代新的语言模型都会变得更难检测。 

ChatGPT 于 2022 年首次向公众推出时,其回复是重复性的,往往是公式化的。

现在的任何人工智能检测器都能很容易地识别出这种文本是人工智能编写的。 

然而,最新的 GPT-5 模型可以生成具有语境感知和情感智能的文本。

由于输出结果的质量不断提高,检测文体更加多样化的人工智能文本是一项挑战。

如今的人工智能探测器有多精确?

对这个问题的诚实回答是,这在很大程度上取决于你测试的是哪种探测器和哪种检测方法。 

一些人工智能检测工具声称在受控环境下能取得近乎完美的结果,但当接触到真实世界的数据时,它们的表现就会变得一团糟。

基准 ZDNet 研究 针对五个文本样本(三个由 ChatGPT 生成,两个由人类生成)对 11 个人工智能检测器进行了评估。

任何标记样本的人工智能可能性大于 70% 的工具都被视为 "成功调用"。 

研究发现,"检测不到的人工智能 "是为数不多的准确率达到 100% 的工具之一,也就是说,它能准确无误地标记所有五个样本(包括人类样本和人工智能样本)。

但是,在现实生活中,人工智能内容检测器对日常用户来说是否也准确无误呢? 

问题是,现实世界中的文本很少是 "纯人工智能 "或 "纯人类 "的。

很多内容都是经过编辑和转述的,带有故意的噪音,在这种对抗条件下,很多检测器的准确性都会急剧下降。

A 同行评审研究 在对 Copyleaks、TurnItIn 和 Originalality 的研究中发现,虽然它们在 GPT-3.5 和人类内容方面 "具有很高的准确性",但在区分 GPT-4 级输出方面却很吃力。

十大人工智能检测器比较

现在,为了找出最准确的人工智能检测器,我们使用 ZDNet 的评估方法对几款工具进行了测试,即总共使用五个文本样本:三个由 ChatGPT 编写,两个由人类编写。

下面是我们使用的一个 ChatGPT 样本和一个人工编写的样本。

ChatGPT 文本: 

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

人类书面文字:

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

检测不到的人工智能 

我们测试的第一个工具是 检测不到的人工智能它通过了所有测试。

所有五个文本样本都被正确识别为 100% 人写的或人工智能写的。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

该平台甚至还显示了其他探测器可能会发出信号的指标。

该系统使用多种检测器算法,仿效了许多不同的人工智能模型(ChatGPT、Gemini、Claude、Llama 等),但他们并没有直接依赖这些模型,而是建立了自己的基于共识的联合系统。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

从本质上讲,每种算法都是根据这些检测器的模式进行训练的,但独立运行以产生集体判断。

Undetectable AI 还声称可以 "人性化 "人工智能生成的文本,从而绕过检测。

GPTZero 

接下来,我们测试了 GPTZero,它也达到了我们的准确性基准,在所有五个样本中的得分都高于 80% 临界值。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

它以 100% 的置信度正确识别了人类撰写的文章和人工智能生成的两个文本。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

唯一的例外是一个人工智能生成的样本,GPTZero 将其标注为 71% 人工智能生成,但根据我们的标准,该样本仍在准确范围内。

泄密 

Copyleaks 的测试结果好坏参半。它一开始就磕磕绊绊,将第一个人工编写的样本误判为 100% 人工智能生成的样本。

它甚至标出了九个所谓的 "人工智能过度使用的短语"。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

不过,随后的每次测试都很准确,即都能识别出其余四个样本中每个文本的内容。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

这种不一致性表明,Copyleaks 有时会走极端,就像我们的人工写作样本一样。

不过,从所有测试来看,它的平均准确度约为 80%。 

Quillbot

QuillBot 是我们测试中的另一款杰出工具,仅次于 Undetectable AI。它是第二款能以 100% 的准确率识别出所有人工撰写和人工智能生成的作品的工具。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

值得注意的是,QuillBot 最初以其转述功能而闻名。

不过,它的人工智能检测器也是一种精炼的分析工具,能够准确识别出人工智能作者的语言一致性。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

另外值得注意的是,Quillbot 在推出之初并不十分准确,但经过多年的发展,它的准确性已经有了很大提高。目前,它是你能找到的为数不多的可靠人工智能检测器之一。 

ZeroGPT 

ZeroGPT 的测试结果也显示出良好的一致性。 

第一个人类书写的样本标注为 0% 人工智能生成,第二个样本标注为 9.44% 人工智能生成,两者都在真正人类书写的可接受范围内。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

另一方面,所有三个人工智能生成的样本都被正确识别为 100% 人工智能书写。 

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

因此,我们这一轮的测试也将 ZeroGPT 加入了可靠的人工智能检测器名单。 

Grammarly

Grammarly 在帮助作家撰写语法准确的内容方面家喻户晓,但其人工智能检测功能却并非如此。

在我们的测试中,Grammarly 的检测器显示的结果好坏参半,有些不一致。

对于人工智能生成的样本,它将其标记为 92%、81% 和 54% 人工智能生成的样本,这意味着它正确识别了两个样本,但由于低估了人工智能的可能性,导致一个测试失败。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

在人类撰写的文本中,它对了一个,却把另一个错误地归类为人工智能。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

因此,可以说我们的分析是 60% 准确的。

原创性.ai 

Originality.ai也是非常可靠的人工智能检测器之一,因为它能正确扫描人工智能生成的和人工编写的内容,并给出100%的可靠结果。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

Originality.ai是一个专门的人工智能和剽窃检测平台。它能对写作进行细粒度分析,经独立测试,还能捕捉转述和编辑过的内容。 

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

Originality.ai的唯一缺陷是它并非完全免费。

该平台为新用户提供 12,000 个字符,之后的扫描将采用积分制。

人工智能检测器的价格为每月 $14.95 美元,共 2,000 个信用点(1 个信用点等于 100 个字)。

作家网

Writer.com 在人工智能检测方面并没有达到预期,尽管它在生成人工智能文本方面颇有名气。 

在 5 个文本样本中,它错误地将 2 个人工智能撰写的样本识别为人类撰写的样本。

这意味着五项检测结果中只有三项是准确的,这显然是一个失误。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

Writer.com 还宣布,其人工智能检测工具及其 API 端点将于 12 月 22 日日落。

在此之前,它将继续照常运行。这表明,该公司正在远离人工智能检测领域。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

莫妮卡

这是另一个在测试中表现非常出色的工具。

莫妮卡能正确识别所有人工撰写和人工智能生成的样本,没有出现任何错误,因此您可以放心地将它添加到可靠的人工智能检测器列表中。 

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

该公司声称,它将 ZeroGPT、GPTZero 和 Copyleaks 的人工智能分析优势整合到一个统一的工具中。

该系统类似于 检测不到的人工智能该系统还结合了多个检测器,以进行真正的人工智能检测。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

小树苗人工智能探测器

小树苗并不是一个可靠的人工智能检测器,因为它对所有五个文本样本的识别都不准确。

在我们的样本中,小树苗将 2 篇人工撰写的内容识别为 100% AI,这远远偏离了标准。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

但是,小树苗最突出的一点是它的透明度。该公司公开承认,其人工智能检测器可能会对短文产生误报。

它还指出,他们正在积极改进系统,以减少此类错误。

人工智能探测器准确吗?工具背后的真相:人工智能探测器是否准确?

他们还明确指出,包括小树苗在内的任何现有人工智能检测器都不应被用作确定作者身份的独立方法。

使用 人工智能检查器 来分析其他人工智能探测器的可靠性究竟如何。

通过多种检测工具对样本文本进行测试并比较一致性得分,AI Checker 可以帮助揭示哪些系统错误标记或过度标记内容。

这是一种快速、透明的方法,可以在信任检测结果之前测量检测器的准确性。

常见人工智能检测方法解析

人工智能检测并非建立在一个通用公式上。

在确定一段文本是人类撰写的还是人工智能撰写的过程中,已经使用并验证了几种方法。

统计语言建模

这是人工智能内容检测中历史最悠久、应用最广泛的方法。它基于对单词序列概率的分析,即一个单词跟在另一个单词后面的可能性有多大。

人工智能生成的文本往往具有较低的 "复杂性",因此可以说它在结构上更具可预测性和一致性。

另一方面,人类在文本中引入了可变性。

使用这种方法的内容检测器会计算困惑度和突发度,以评估其来源。

元数据和水印

这些指标针对的是文本的生成方式而非结构。 

水印是指在人工智能输出中嵌入令牌级的隐形信号。从本质上讲,这些模式只能被特定算法检测到。 

元数据检测可检查时间戳、生成速度和 API 调用模式等上下文数据,以推断人工智能是否参与了编写过程。 

但同样,当人工智能生成的文本被编辑时,这些信号就会丢失,因此,它们只能在受控测试环境下工作。 

机器学习分类器

人工智能检测器越来越多地依靠机器学习分类器来识别人工智能文字的 "纹理"。

这些分类器分析了人类写作和人工智能写作数据集的数千个语言和结构特征。

基于这一分析,他们开发了一个概率模型,将新文本标记为人工智能、人类或混合文本。

这种方法的优势在于,分类器能跟上新的生成式人工智能模型的方法变化。

在下面的小工具中试试我们的人工智能检测器和 Humanizer!

结论

要回答 "人工智能检测器是否准确 "这个问题,是的,有几种工具是可靠准确的,"检测不到的人工智能 "就是其中之一。

它在每个人工智能和人工编写的测试样本中都达到了 100% 的准确度。

该工具也是免费使用的,不像许多其他人工智能检测器将其最佳功能隐藏在付费墙或基于信用的系统之后。

Undetectable AI 的优势在于其联合检测模式,它将多个领先检测器的优势整合到一个统一的系统中。

多层方法大大减少了假阳性和假阴性。

因此,如果您正在寻找一款可靠的人工智能探测器、 检测不到的人工智能 是值得一试的!

Undetectable AI(TM)