根据一项新研究,语言学专家很难区分人工智能人类创作的作品,正确率仅为38.9%。尽管他们的选择背后有逻辑推理,但他们经常出错,这表明人工智能生成的短文本可以和人类写作一样有能力。

根据南佛罗里达大学(University of South Florida)一位助理教授最近与人合著的一项研究,即使是语言学专家也很难区分人工智能创作的作品和人类创作的作品。

发表在《应用语言学研究方法》杂志上的研究结果表明,来自全球顶级期刊的语言学专家只有39%的时间能准确区分人工智能和人类撰写的摘要。

南加州大学世界语言系学者马修·凯斯勒(Matthew Kessler)说:“我们认为,如果有人能够识别人类创作的文字,那应该是语言学家,他们一直在研究语言模式和人类交流的其他方面。”

凯斯勒与孟菲斯大学应用语言学助理教授j·埃利奥特·卡萨尔(J. Elliott Casal)合作,委托72名语言学专家审查各种研究摘要,以确定它们是由人工智能还是人类撰写的。

每位专家被要求检查四个书写样本。没有人能正确地识别出所有四个单词,而13%的人都弄错了。凯斯勒总结说,基于这些发现,如果没有尚未开发出来的软件的帮助,教授们将无法区分学生自己写的文章还是由ChatGPT等人工智能语言模型生成的文章。

尽管专家们试图用基本原理来判断研究中的写作样本,比如识别某些语言和风格特征,但他们基本上是不成功的,总体上的正面识别率为38.9%。

凯斯勒说:“更有趣的是,当我们问他们为什么认为某些东西是由人工智能或人类编写的时候。”“他们分享了非常合乎逻辑的理由,但一次又一次,他们不准确或不一致。”

基于此,凯斯勒和卡萨尔得出结论,考虑到人工智能通常不会犯语法错误,ChatGPT可以像大多数人一样写出短篇体裁,如果在某些情况下不是更好的话。

人类作者的一线希望在于更长的写作形式。凯斯勒说:“众所周知,对于较长的文本,人工智能会产生幻觉并编造内容,从而更容易识别出它是由人工智能生成的。”

凯斯勒希望这项研究能引发一场更大的讨论,围绕人工智能在研究和教育中的应用建立必要的伦理和指导方针。

参考:“语言学家能区分ChatGPT/ai和人类写作吗?”:研究伦理与学术出版的研究”,作者:J. Elliott Casal和Matt Kessler, 2024年8月7日,《应用语言学研究方法》。DOI: 10.1016 / j.rmal.2024.100068