图像生成&3D内容两开花

衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

大模型创投市场日趋冷静,但一家清华系大模型创业公司被曝又拿钱了。

量子位最新获悉,清华朱军带队的生数科技完成了数千万元的天使+轮融资。

这一轮融资的目的,是进行算法研发、产品开发和团队扩充。

量子位注意到,两个月时间,生数科技已经连续获得了来自市场的两轮投资:

不久前的6月,生数科技刚刚完成了天使轮投资,投后市场估值1亿美金(约7.2亿人民币)。

天使轮时,股东名单上有蚂蚁集团、BV百度风投。

而这一轮的投资方只有一位,是与字节有着千丝万缕联系的VC锦秋基金——这也是锦秋基金首次曝出对大模型初创公司出手。

年内陆续推出“AI工具集”

生数科技成立于今年3月,由蚂蚁、BV百度风投,以及朱军第一次创业时成立的瑞莱智慧RealAI联合孵化而来。

公司聚焦多模态层面,致力于打造可控的多模态通用大模型。

具体包括文本、图像、3D模型、音视频等模态。

清华朱军大模型公司又融钱了!已内测数十亿参数多模态扩散模型,年内将推AI工具集

多模态产学研领域,目前主要攻关的核心问题有两个:

一是让模型能理解和对齐多模态的数据;二是使模型能生成各种模态的内容。

成立当月,生数科技发布了9.5亿参数的开源版本多模态大模型UniDiffuser,底层逻辑是基于Transformer网络架构,实现图文模态之间的任意跨模态生成。

清华朱军大模型公司又融钱了!已内测数十亿参数多模态扩散模型,年内将推AI工具集

最新消息是,以UniDiffuser为基础,团队在推进更高参数的产业级大模型的自主研发工作,目前实现内测的模型版本是百亿数据、数十亿参数

在图像生成的语义理解准确度、画面联想丰富度,3D模型的多样性和精细度,视频生成实现的可控内容改写与风格迁移上,均有不错表现。

生数科技还透露了公司的下一步研究计划——

面向图像创作、3D资产创建等内容创作场景打造“AI工具集”,产品将于今年陆续推出。

首先在图像创作领域,预备打造一款个性化、高易用的图像创作助手。

通过简单指令,用户就可以创作高质量图像,并能通过简单交互进行精准的细节控制。

这项工作的难点主要涉及底层模型在可控生成方面的技术突破,以及如何更好地理解用户在创作和编辑图像时的真正意图。

目前,图像创作助手已推出内测版平台,同时完成了美学角度的人工盲测。

清华朱军大模型公司又融钱了!已内测数十亿参数多模态扩散模型,年内将推AI工具集

其次,针对日益增长的3D内容创作需求,生数正推进打造一款“零门槛的3D资产生成工具”。

具体细节是基于文本和2D三视图,自动构建质量和精度表现优异的3D资产,目的是让它可直接融入游戏等工业管线,大幅提升3D创作效能。

清华朱军带队

生数核心研究团队,主要来自清华大学人工智能研究院,大多是朱军课题组的学生。该课题组也是国际上最早研究深度概率生成模型的团队之一。

领兵冲刺的带头人朱军,IEEE Fellow,现任清华大学计算机系教授。

同时也是清华人工智能研究院副院长,清华智能技术与系统国家重点实验室主任,智源首席科学家。

清华朱军大模型公司又融钱了!已内测数十亿参数多模态扩散模型,年内将推AI工具集

△朱军

求学期间,他在清华计算机系拿下本科和博士学位,师从中国科学院院士、清华计算机系教授张钹

2011年,在张钹的邀请下,朱军回到清华计算机系任教。

去年,师徒二人围绕扩散概率模型合作的工作《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》,拿下ICLR 2022杰出论文奖。

朱军长期从事机器学习、贝叶斯方法、深度学习、数据挖掘等方面的研究,在顶会ICML、NIPS、IJCAI、AAAI、 JMLR、PAMI等发表论文100余篇,连续多年担任ICML、NeurIPS领域主席。

(贝叶斯方法是自然语言处理、机器学习、图像识别等AI领域的重要基础。)

2020年,朱军团队发布深度强化学习平台Tianshou天授

这是一个针对强化学习的灵活可靠的基础设施,能够以极简代码极速实现强化学习的诸多算法和功能,在GitHub上揽星6.6k+。

清华朱军大模型公司又融钱了!已内测数十亿参数多模态扩散模型,年内将推AI工具集

话说回来,生数科技不是朱军在科研和产业之间的第一次尝试。

他的首次创业要回溯到2018年。当时,他支持自己的学生田天创办了公司瑞莱智慧RealAI,专注提升人工智能的安全性。

并且和张钹共同担任该公司的首席科学家。

待到生数科技浮出水面,朱军的角色仍然是首席科学家

担任生数CEO的,是公司联合创始人的唐家渝,他同样毕业自清华大学计算机系,师从NLP组教授孙茂松

此前,对唐家渝外界的主要公开身份是瑞莱智慧的副总裁,先后负责公司产品团队、AI安全产研团队及业务。

而从再往前的简历可以看到,唐家渝曾在腾讯优图实验室工作。

清华朱军大模型公司又融钱了!已内测数十亿参数多模态扩散模型,年内将推AI工具集

唐家渝

唐家渝表示,相比语言大模型,国内外在多模态大模型方向的研究都处于早期探索阶段,“并没有形成明显的代差”。

文生图方面,生数已经达到了Stable Diffusion最新版本的基础模型效果。
预计年底,会对齐Midjourney的最新版效果。