数学水平拉胯嘴还硬

Alex 羿阁 发自 凹非寺

量子位 | 公众号 QbitAI

让众人疯狂的网红AI ChatGPT,原来也有明显的短板?

一段“网友调教这只AI”的聊天记录,在网上传开了。

可以看到,AI起初居然说27是个质数。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

在网友向其提出质疑后,AI仍嘴硬称“27不能被3整除”。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

网友不得不和AI“大战几百回合”,最后在人类锲而不舍的教导下,AI才终于终于低头认错。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

△上述图源:微博@沙雕文案 援引网友空间截图

有一说一,AI的认错态度倒是很好。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

有围观者看完后调侃:AI不是都要统治世界了吗,怎么会输给一道简单的数学题?

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

不过,也有很多人为ChatGPT说话:这么坦诚的认错态度,不比某些人强多了

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?
ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

数学水平拉胯,还贼固执

具体事情是这样的:

网友在和ChatGPT互动的过程中发现,这只AI数学水平过于拉胯,连27是不是质数这种简单问题都能搞错——而且还是在知道质数定义的情况下……

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

于是网友让ChatGPT证明它给出的结论,没想到,AI居然说27不能被3整除。

网友表示无语,但还是耐着性子又问了一遍,结果AI依然嘴硬,偏把9说成是9.0。

无奈,网友只能搬出代码,试着用Python来教会AI。

结果AI还真学会了!而且人家还主动承认了刚才的错误。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

有意思的是,我们刚才也去问了ChatGPT“27是不是质数”,发现它已经改过来了。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

然后我们又拿了几个数字去问AI,结果在这一回合中,它都正确地判断了一个数到底是不是质数。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

不过仔细一看,AI并没提到35能被7整除,于是我们又专门问了一遍。然鹅……

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

这岂不是一本正经地胡说八道嘛?

于是我们也只好搬出Python教教它,但这回,连python似乎也没能让AI承认自己的错误……

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

所以这只AI为啥算术水平如此堪忧,而且还如此固执?

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

其中一个重要的原因就是,ChatGPT是个语言大模型,根据Open AI的GPT-3.5的模型微调而成,它擅长逻辑推理,但并不能执行标准的计算机算法。

而且与搜索引擎不同,它目前也没有网页浏览功能,无法调用在线计算器。

此前,ChatGPT其实已经向用户坦言,它不懂算术。两位数的乘法或许还凑乎,但遇到三位数的乘法,人家直接不干了。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

我们也去问了一遍,现在AI到是直接给了个答案,不过是错的。(正确答案为186524)

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

另外,ChatGPT一般不会根据用户的反馈来纠正自己的答案,但如果用户提出了额外的信息,有时也能辅助AI优化答案。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

所以,我们暂时没有成功地“教育”AI,大概也许可能是运气不太好……

除了数学其他都很全能

尽管ChatGPT有时会展现出“人工智障”的一面,但不得不说,大多数时候它的表现还是很优秀的。

比如,哥伦比亚大学教授、谷歌工程师Kenneth Goodman就分享,ChatGPT已经做好成为律师的准备了!

律师执业考试中,ChatGPT的正确率高达70%(35/50)。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?
ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

不仅是法律方面,Goodman还让ChatGPT参加了其他不同领域的各种考试,都取得了很高的成绩。

包括美国医师执照考试(USMLE),拿掉其中的图像选择题后,ChatGPT同样做到了70%的正确率。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

为了防止ChatGPT的训练数据中包含这些题目,Goodman还特意选取了纽约州2022年8月最新化学注册考试

去除5个图片选择题,ChatGPT的正确率为77.7%(35/45)。

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

同样批次的英语考试中,ChatGPT的正确率甚至达到了91.6%(22/24)

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

有网友已经开始预测,或许我们每个人都将拥有自己的律师AI了,咨询律师的费用也会大大下降。接下来就是医生AI、营养师AI……

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

怎么样,你看好ChatGPT的未来应用吗?

(或者你有让它学好数学的建议吗?

ChatGPT死活不认27能被3整除,网友:不是说AI要统治世界了吗?

参考链接:
[1]https://weibo.com/7095186006/Mj6LVF0zS#comment
[2]https://twitter.com/TonyZador/status/1601316732689604608
[3]https://twitter.com/pythonprimes/status/1601664776194912256