全程无需人工参与

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

把GPT-4放进一个虚拟世界会怎么样？比如《我的世界》。

英伟达开发最新方法Voyager，在游戏中点亮科技树的速度是此前方法的15.3倍，同时获得的独特物品是此前的3.3倍，探索范围是2.3倍。

更关键的是，Voyager目前完全借助游戏画面推理，一切操作与反馈通过文本和游戏的Javascript API进行。

被其他AI玩家视为噩梦的挖钻石也不在话下。

结合人类反馈，盖个房子也不是问题。

更不用说撸树、游泳、摸鱼……这些基础操作。

这项成果来自英伟达科学家Jim Fan（范麟熙）团队。

Voyager的出现甚至引发了一些网友的恐惧。

当GPT-4不再只是一款大语言模型，而拥有了与其他工具交互进行复杂动作的能力，学会推理和创造，真正的“人工智能”即将降临……

深度广度双双提升

团队将Voyager的表现与ReAct、Reflexion和AutoGPT进行了对比。

在地图探索距离上，Voyager达到了其他AI玩家的2.3倍。

而在科技树方面，只有Voyager成功解锁了钻石工具。

对于其他工具，Voyager解锁的效率也最高。

下表中，括号前的数字表示提示迭代的次数，越少说明效率越高；括号中的数字则表示在3次试验中AI玩家的成功率。

除了能点亮训练过的科技树，Voyager在零点测试中表现同样出色。

研究人员让这些AI玩家制造没有训练过的钻石镐、金剑、岩浆桶和指南针。

结果只有Voyager取得了100%的成功率，效率也比其他玩家更高。

如果有人工的帮助，给予评价或指导，Voyager还能构造建筑。

之所以需要人工，是因为在研发Voyager时GPT-4还不具备视觉能力。

如何实现

Voyager主要由三部分组成，即自动任务生成系统、技能库和迭代提示机制。

顾名思义，自动任务生成器负责根据宏观目标生成具体任务及操作游戏的代码并进行优化。Voyager使用的是一个流行的Javascript Minecraft 操作库 (Mineflayer)。

GPT-4根据Voyager发送的提示生成代码调用这个操作库，并根据JS运行情况和游戏反馈对代码中的错误进行修正。

Voyager发送给GPT的提示中主要包含四部分内容：

• 一是鼓励GPT尝试多种方式，同时又加以限制的总方针。
• 二是目前的状态，包括生命和饥饿值、持有物、位置和周围环境等。
• 三是之前成功和失败的操作，反映目前的工作进展。
• 四是额外信息，让GPT-3.5根据前述状态提问并调用知识库自答，将过程传给GPT-4。

说完了任务生成器，再看看Voyager的技能库。

通过让GPT-3.5（成本考虑）对生成的代码进行注释，并纳入技能库同时建立索引。

操作时则先用GPT-3.5生成操作说明，调用数据库中最匹配的五个。

然后，GPT-4将决定是调用数据库中的已有技能还是重新生成代码。

这一过程给GPT的提示则由五部分组成：

• 一是代码生成的指导，如“你生成的代码将被反复使用”。
• 二是控制API及相关技能。
• 三是上一步中生成的代码，以及对应的运行状况和反馈。
• 四是当前的状态，具体内容和代码生成器部分相同。
• 五是利用思维链方式，让GPT生成代码前进行推理。

最后再来看看Voyager的迭代提示机制，这一机制用于Voyager的自我提升。

这一机制会收集环境反馈、运行错误等信息。

同时结合对任务成功与否的自我检测，对自身进行优化。

下图就展示了自我检测的几个实例。

消融测试结果显示，缺少这一环节会导致Voyager运行质量的显著下降。

论文地址：
https://arxiv.org/abs/2305.16291
项目主页：
https://voyager.minedojo.org
GitHub页面：
https://github.com/MineDojo/Voyager
参考链接：
[1]https://twitter.com/DrJimFan/status/1662115266933972993
[2]https://m.weibo.cn/status/4905873598054632