“草莓”给新旗舰生成训练数据

西风 发自 凹非寺

量子位 | 公众号 QbitAI

OpenAI新模型，怕是真的要来了。

神秘模型“草莓”被曝今年秋天可能就与大家见面！

顺带着GPT-4继任者也浮出水面。

The Information称，OpenAI已经悄摸展示过“草莓”，它还被用来改进代号“猎户座（Orion）” 的新模型。

“猎户座”定位是新旗舰，也就是GPT-4的下一代。

有意思的是，OpenAI目前正在专门招人调查自家员工，职位叫：技术内部风险调查员。

来看看这五条职责：

• 整合各种数据源检测、分析并缓解潜在的内部威胁
• 构建、保持并改进用于识别内部威胁的关键指标和实际应用场景
• 调查可疑行为，并与法律及人力资源部门协调
• 与跨学科团队合作，填补监控盲点并提高安全措施
• 确定并监管数据丢失预防控制的执行

好像句句都在透露加强对内控制，抓内鬼。

回想一下GPT-4o发布前，也有一波查内鬼的动作，当时方式是放各种假消息。

先是大张旗鼓给SearchGPT搜索引擎造势，路透社啊、彭博社啊这些权威媒体刚把消息放出去，OpenAI来了个出其不意。

宣布改成对ChatGPT和GPT-4的升级，也就是后来发布了GPT-4o。

对应OpenAI这波新的内紧，有新动作大概率是没跑了。

先具体来看看这次关于神秘新模型“草莓”和“猎户座”的新细节。

“草莓”用于生成合成数据

“草莓”模型第一次“泄露”是在一个月前。这次The Information曝出消息：

OpenAI目标是尽快秋天推出“草莓”，可能同样是以聊天机器人形式，集成在ChatGPT系中。

“草莓”能解决它之前未遇到过的数学推理问题，还专门针对编程问题受过训练，且能力不仅限于回答技术性问题。

给它更多时间“思考”，它还能回答更主观话题的问题，例如产品营销策略，像《纽约时报》游戏版块的Connections复杂文字谜题也难不倒它。

如刚刚提到的，“草莓”还将用于改进另一个新模型“猎户座”。

知情人表示，OpenAI用更大版本的“草莓”生成用于训练“猎户座”的数据，即“合成数据”。

也就是说“草莓”可能还不止一个版本。

聊天机器人版本是原始草莓模型的“蒸馏”简化的“小草莓”，它力求保持与更大型号相同的性能，同时操作更容易且成本更低。

除此外，“草莓”还可以为OpenAI即将推出的Agent提供帮助。

GitHub Copilot前首席架构师、初创公司Minion AI CEO Alex Graveley表示，使用“草莓”生成更高质量的训练数据可以帮助OpenAI减少其模型产生“幻觉”。

The Information还称，奥特曼曾在五月份的一次活动中表示“对于下一个模型来说，我们已经有足够数据了。我们进行了各种实验，包括生成合成数据”，这有可能就是在说猎户座。

OpenAI这边暂未对The Information的爆料发表评论。

网友讨论热烈，纷纷表示“猎户座”应该就是GPT-5。

有网友还翻出，知名OpenAI爆料账号Jimmy Apples去年曾发过一张“猎户座”照片，又“预言”了？

网友摩斯继续分析，OpenAI去年内斗，奥特曼11月17被解雇，11月22复职，Jimmy Apples发上面这个猎户座的帖子卡在11月25日。

难不成，Ilya看到的是这？

还有网友认为草莓/Q*更像是一种技术，而不是一个模型：

它可能生成100个假设或答案，然后对它们进行排名，选出最优解。虽然这一过程非常消耗计算资源，但它有可能显著减少错误信息并将推理能力提升5倍。

关于“草莓”的更多技术细节，之前爆料的说法是这样婶儿的：

“草莓”已经在非常大的数据集上完成预训练，并使用了一种专门的处理方法。

包括后训练（post-training）；或者在已经进行大规模训练后，再调整基础模型来“磨炼”性能。后训练部分包括常见的微调、人类反馈强化学习（RLHF）等。

而且“草莓”与斯坦福大学在2022年（当时ChatGPT还未发布）提出的一种名为自学推理（Self-Taught Reasoner，简称STaR）的方法很相似。

One More Thing

OpenAI团队这边还有更多新消息传出。

前OpenAI员工Daniel Kokotajlo爆料，曾专注于超强AI长期风险的安全团队员工近半数已离职。

参考链接：
[1]https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion
[2]https://www.reddit.com/r/singularity/comments/1f2iism/openai_shows_strawberry_ai_to_the_feds_and_uses/
[3]https://www.reddit.com/r/singularity/comments/1f25bha/exodus_at_openai_nearly_half_of_agi_safety/
[4]https://x.com/apples_jimmy/status/1728239862346903924
[5]https://www.businessinsider.com/openai-is-hiring-someone-to-investigate-its-own-employees-2024-8
[6]https://openai.com/careers/technical-insider-risk-investigator/