已在开发辨别工具

詹士 发自 凹非寺

量子位 | 公众号 QbitAI

面对ChatGPT，Nature终于坐不住了。

本周，这家权威学术出版机构下场，针对ChatGPT代写学研文章、被列为作者等一系列问题，给了定性。

具体来说，Nature列出两项原则：

（1）任何大型语言模型工具（比如ChatGPT）都不能成为论文作者；
（2）如在论文创作中用过相关工具，作者应在“方法”或“致谢”或适当的部分明确说明。

现在，上述要求已经添进作者投稿指南中。

近段时间，ChatGPT染指学研圈情况越来越多。

去年12月一篇雷帕霉素抗衰老应用的论文中，ChatGPT就曾被列为一作，引发业内争议。该篇之外，还有不少研究将ChatGPT列为作者。

Nature也已注意到此类状况，他们于12月进行了一项调研显示，293名受访的教授老师中，20%已经发觉或目睹学生在用ChatGPT完成作业或论文，更多人对此表示担忧。

此次，Nature所发表的声明，正是希望对种种争议给予定性。

多篇论文已将ChatGPT列为作者

ChatGPT由OpenAI在去年11月末推出，因其表现大幅超越此前大型语言模型（LLM），迅速成为岁末年初第一号“窜天猴”。

在新媒体、影视、软件开发、游戏互动等领域中，ChatGPT被迅速加以利用，辅助生产提升效能。

学研圈也不例外。

据Nature统计，使用ChatGPT并将其列为作者的论文最少有4篇。

其中一篇预印本在2022年12月发表于医学预印本资料库medRxiv上。该论文研究了ChatGPT在美国医学执照考试中的表现。尽管研究关于ChatGPT，但作者栏中也列上了ChatGPT。

另一篇论文发表在《护士教育实践》杂志上，关于开放人工智能平台在护理教育中的利弊，同样，ChatGPT被列入作者栏：

第三篇论文来自AI药物研发公司Insilico Medicine，内容关于一种新药雷帕霉素，发表于《Oncoscience》。同样，ChatGPT被列为作者。

第四篇稍显“古早”，发表于2022年6月，探讨主题就是——AI生成论文的能力如何。被列入作者一栏的AI也并非ChatGPT，而是更早发布的GPT-3。

尽管上述研究内容多少都与生成语言模型有关，但对于严肃的科研活动来说，使用“研究对象”写论文，并将其列入作者栏，不可避免引发了争议和质疑。

且即便不将AI列为作者，学研圈使用ChatGPT的情况也越来越普遍。

前文提及AI药物研发公司Insilico Medicine的CEO，Alex Zhavoronkov，他透露道，其所在的机构已发表了80多篇由AI工具生成的论文。

英国教授Mike Sharples一直关注生成AI对学术研究的影响。不久前，他在推特上亲手演示了如何用大型语言模型10分钟生成一篇学术论文，一步步描述自己如何用AI根据标题生成摘要，也引发不小讨论。

学生使用ChatGPT帮助撰写论文、生成代码、完成作业更为普遍，目前，美国已有部分地区教育机构禁止使用该工具。

就在上周，北密歇根大学一位学生依靠ChatGPT写出全班最高分论文。

有意思的是，该学生之所以被抓住，是因为所提交文章逻辑过于连贯，结构过于合理，以至于导师专门去质问了一下才得知真相。

△ 北密歇根大学

需要明确的是，上述抓包只是偶然，更多时候，生成内容已让科学家们真假难辨。

Nature此前一篇文章指出，ChatGPT发布后，伊利诺伊州西北大学一个研究小组就在探究，使用该AI工具生成医学论文摘要，科学家是否能识别。

结果发现，AI生成摘要均通过了抄袭检测器，在人工审核中，32%的AI生成摘要被认为是真实人类完成的。

已在开发辨别工具

此番Nature下场，表明了他们对ChatGPT引发问题的重视。

在最新内容中，Nature表示，学研圈都在担心，学生及研究者们可能会以大型语言模型生成的内容当作本人撰写的文本，除却冒用风险外，上述过程还会产生不可靠的研究结论。

尤其针对ChatGPT，Nature团队及很多出版商、平台均认为，该工具无法对科学论文的完整性及内容本身负责。

一个侧面佐证是科技媒体CNET这两天曝出，该平台AI编写的77篇内容中，41篇有错误，目前，平台已予以更正，并表示将暂停此种方式生产内容。

正是基于对上述情况的担忧，Nature出台了相关规定。

至于如何分辨AI生成内容？

Nature表示，目前ChatGPT原始输出可以通过仔细检查而被发现，尤其涉及具体科学工作时，内容可能包含最简单的错误及泛泛乏味的措辞。此外，Nature也表示，他们还在开发相关识别技术。

值得一提的是，相关识别工具也有人开发出来了。

比如OpenAI自己推出的GPT-2 Output Detector，输入50个以上字符（tokens）就能较准确地识别AI生成的文本。

再比如普林斯顿大学生Edward Tian，也做出过相关工具GPTZero。

不过，并非所有大学教授和老师对AI生成工具持否定态度。

比如宾大沃顿商学院一位教授Ethan Mollick，反其道而要求学生使用ChatGPT完成课堂作业，并认为这是在拥抱新兴技术工具。

论文发表平台medRxiv一位工作者也表示，ChatGPT也不算新麻烦。

他认为，此前，研究者都尝试偷偷加入宠物、虚构人物名字。因此，他们认为，问题核心是——需要继续加强检查。

最后问问，你在科研工作中用了ChatGPT么？

参考链接：
[1]https://www.nature.com/articles/d41586-023-00191-1
[2]https://www.nature.com/articles/d41586-023-00056-7
[3]https://www.nature.com/articles/d41586-023-00204-z
[4]https://www.theverge.com/2023/1/26/23570967/chatgpt-author-scientific-papers-springer-nature-ban
[5]https://www.businessinsider.com/wharton-mba-professor-requires-students-to-use-chatgpt-ai-cheating-2023-1

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态