前东家也赶来送祝福

西风 发自 凹非寺

量子位 | 公众号 QbitAI

OpenAI被爆最新人事动向：

前FAIR（Meta）研究科学家Noam Brown加盟！

这位大佬来头可不小，研究曾登上《Science》封面。

不仅如此，他此前的研究成果可谓相当炸裂，可以用一句话来总结：

NeurIPS等众多顶会论文奖拿到手软！

就是这样一位传奇人物，加入OpenAI后他对自己要做的事放出狠话：

如果成功，我们或许会看到比GPT-4好1000倍的大语言模型。

所以，他之前拿下过什么成就，下一步又究竟要做什么？

德扑AI之父！拿奖拿到手软

Noam Brown与AI结缘，要从他的一篇博士论文说起。

三年前，Noam Brown从卡内基梅隆大学（CMU）以230页超硬核论文完成答辩，拿下计算机科学博士学位。

这篇论文，写的正是Noam Brown与其CMU导师Tuomas Sandholm一起创建的AI系统——称霸德州扑克赛场的赌神Libratus（冷扑大师）和Pluribus。

与围棋、国际象棋、跳棋等棋类游戏不同，这些游戏属于完美信息博弈，对战的双方，清楚每一时刻局面上的全部情况。

而相比之下，德州扑克存在大量的隐藏信息，包括：对手持有什么牌，对手是否在诈唬？

这也就决定了德扑的一个主要特征——不完美博弈。

为此，Noam Brown创建的Libratus将三个负责开发扑克策略、实时优化策略、比赛结束后审查牌局的AI系统结合了起来。

2017年年初，在宾夕法尼亚州匹兹堡的Rivers赌场上，4名顶尖人类职业玩家和Libratus在为期 20 天的赛程里面对战12万手，Libratus一路以碾压的态势豪取胜利，赢得176万美元(虚拟货币)。

和AlphaGo不同，在人机大战之前Libratus没有研究过人类如何打德州扑克，也没有和人类职业玩家有过交手。

但Libratus对战四位人类高手还是拿下了大比分优势：14.7个大盲注/百手(14.7bb/h)。

“一般领先5-10bb/h就肯定是赢了”，Noam Brown表示。

德扑AI不仅取得了这场比赛的胜利，Pluribus还在那年登顶了《Science》封面。

与此相关的研究，目前也已有近700的引用量。

当然，Libratus不是凭空而生，2015年4月它的前身Claudico正是在同一个赌场里，和四位人类顶级玩家交锋8万手后，累积输掉73.2万美元(当然也是虚拟货币)，败给了人类。

Noam Brown多年来在多步骤推理、自我对战和多智能体AI方面的研究，终于以Libratus的成功交上了一份满意的答卷，并在此之后，包揽众多大奖。

比赛胜利同年，他获得了NeurIPS 2017最佳论文奖。2019年又继续与导师合作，成功拿下AAAI 2019Honorable Mention奖。

之后Noam Brown的一系列成果获得了《Science》2019年年度突破的亚军、马文·明斯基奖，还被评为《MIT科技评论》35岁以下35位创新者之一。

此前获得过这个称号的，就包括谷歌创始人Larry Page、Sergey Brin，Facebook创始人Mark Zuckerberg，Paypal及Slide创始人Max Levchin，还有著名人工智能科学家吴恩达等一众大佬。

但是不管Libratus距离扑克之神还有多远，Brown坦言他不会再对这个德扑AI进行优化了。

博士毕业后，Noam Brown加入了FAIR（Meta），成为其研究科学家。

在Meta，他曾参与共同开发出第一个在战略游戏Diplomacy中达到人类水平的AI——CICERO。

一切看起来顺风顺水，Noam Brown为什么突然要转战OpenAI，又究竟要做什么？

加入OpenAI后：用游戏中的方法提升大模型

Noam Brown给出了他的答案：

多年来，一直在研究扑克和Diplomacy等游戏中的AI自我对战和推理。现在，我将研究如何将这些方法真正通用化。

所以，下一个大模型难道将借鉴游戏中的方法？

其实，Noam Brown的灵感来自于当年Libratus成功击败了顶级人类选手时，他所观察到的一种现象。

而这种现象与2016年AlphaGo击败李世石极为相似。

回想AlphaGo击败李世石，其中的关键在于：

AI在每一步棋之前都能够进行约1分钟的“思考”。

而就这一点对于AlphaGoZero来说，相当于将预训练的规模扩大了约10万倍（搜索后评分约为5200 Elo，不经搜索评分约为3000 Elo）。

Noam Brown在扑克中观察到了类似的现象，将其运用于Libratus，才有了后面的成功击败顶级人类选手。

除此之外，AnthropicAI的技术工程师Andy L. Jones，在Hex棋盘游戏中详细研究了训练时间和测试时间的计算权衡，也发现了类似的模式。

这项研究展示了如何在MCTS（Monte Carlo Tree Search，蒙特卡洛树搜索）的训练计算和推理计算之间进行权衡，而增加10倍的MCTS步骤几乎等同于增加10倍的训练：

Noam Brown认为：

现在所有这些方法都是针对特定的游戏而设计的。如果我们能够发现一个通用版本，那么增益将是巨大的。

虽然推理可能会慢1000倍，并且成本更高，但是与为了一种新的抗癌药物或者为了证明黎曼猜想一样，我们会为推理付出怎样的代价呢？

接着他又补充道：

提升能力总是存在风险的，但如果这项研究取得成功，它在安全研究方面也将具有重要价值。想象一下，如果我们能够花费100万美元的推理成本来预测一个更具能力的未来模型，这将给我们一个此前所没有的警示。

对于Noam Brown加入OpenAI这事儿，评论区赶来的大多是来道喜的。

比如说PyTorch联合创始人Soumith Chintala：

前同事Meta AI研究总监、佐治亚理工学院计算机科学家Dhruv Batra也发来了“贺电”：

参考链接：
[1]https://twitter.com/polynoamial/status/1676971503261454340
[2]https://noambrown.github.io/
[3]https://www.science.org/toc/science/365/6456