一款AI检测工具被爆出！可轻易识别ChatGPT撰写的论文

财联社11月7日讯根据周一发表在科学顶刊《细胞》物理子刊《Cell Reports Physical Science》上的一项研究，科学家已研究出一种机器学习工具，可以很容易地识别出使用聊天机器人ChatGPT撰写的化学论文。

该论文的合著者、美国堪萨斯大学的化学家Heather Desaire指出，“大多数文本分析领域都想要推出一种真正通用的检测器，可以适用于任何东西”。但她表示她的团队正通过制作一种专注于特定类型论文的检测工具，旨在“追求准确性”。

Desaire称，研究结果表明，开发人工智能检测器的努力可以通过定制软件来促进特定类型的论文写作，“如果你能快速而轻松地构建一项专门的工具，那么为不同的领域构建不同的工具就不是那么困难了。”

从公布的数据来看，这种专门的检测器比市面上现有的两种人工智能检测器的性能都要好，可以帮助学术出版商识别出那些由人工智能文本生成器生成的论文。

准确率惊人

Desaire和她的同事在6月份首次描述了他们研发的ChatGPT探测器，当时他们将其应用于《科学》杂志上的Perspective文章。该团队使用人工智能检测器检查写作风格的20个特征，包括句子长度的变化、某些单词和标点符号的频率等，来确定文章是有人类科学家所作还是由ChatGPT所生成的。

当时的研究结果表明，“你可以使用一小部分特征来获得高水平的准确性”。

在最新的研究中，该团队将美国化学学会出版的十本化学期刊的论文引言部分作为人工智能探测器的训练对象。

研究人员将100篇已发表的人类撰写的引言作为比对材料，然后要求ChatGPT-3.5以ACS期刊的风格撰写200篇引言。其中100篇是研究人员向ChatGPT提供了论文标题后生成的，而另外100篇是研究人员向ChatGPT提供了论文摘要后生成的。

研究结果显示，当把人类撰写的引言和和人工智能从同一期刊上生成的介绍进行测试时，该人工智能检测器能够100%识别出由ChatGPT-3.5编写的前100篇引言；而对于后100篇ChatGPT-3.5生成的引言，检测的准确率略低，为98%。

此外，该工具同样适用于ChatGPT-4编写的文本。

相比之下，市场上的另两款人工智能检测器中，德国的ZeroGPT识别人工智能编写的介绍的准确率仅为35-65%，这取决于使用的ChatGPT版本以及介绍是由论文标题还是摘要生成的。而OpenAI自身的文本分类器工具也表现不佳——它能够识别人工智能编写的介绍，准确率约为10-55%。

柏林应用科技大学研究学术剽窃的计算机科学家Debora Weber-Wulff评价道，该篇论文的作者们所做的是一件“令人着迷的事情”。

她表示，许多现有的工具试图通过搜索人工智能生成的文章的预测文本模式来确定作者的身份，而不是通过观察写作风格和文体的特征。Weber-Wulff 称，“我从来没有想过在ChatGPT上使用文体计量学。”