基于Stable Diffusion、SAM等

明敏 发自 凹非寺

量子位 | 公众号 QbitAI

现在AI圈确实到了拼手速的时候啊。

这不,Meta的SAM刚刚推出几天,就有国内程序猿来了波buff叠加,把目标检测、分割、生成几大视觉AI功能all in one!

比如基于Stable Diffusion和SAM,就能让照片中的椅子无缝换成沙发:

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

换装、换发色也是so easy:

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

项目一经发布就让不少人惊呼:手速也太快了吧!

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

还有人表示:我和新垣结衣的新结婚照有了。

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

如上就是Gounded-SAM带来的效果,项目在GitHub上已揽星1.8k。

简单来说,这就是一个zero-shot视觉应用,只需要输入图片,就能自动化检测和分割图像。

该研究来自IDEA研究院(粤港澳大湾区数字经济研究院),创始人兼理事长为沈向洋。

无需额外训练

Grounded SAM主要由Grounding DINO和SAM两个模型组成。

其中SAM(Segment Anything)是4天前Meta刚刚推出的零样本分割模型。

它可以为图像/视频中的任何物体生成mask,包括训练过程中没出现过的物体和图像。

通过让SAM对于任何提示都返回有效的mask, 能够让模型在即使提示是模糊的或者指向多个对象的情况下,输出也应该是所有可能中一个合理的mask。这一任务用于预训练模型并通过提示解决一般的下游分割任务。

模型框架主要由一个图像编码器、一个提示编码器和一个快速mask解码器组成。在计算图像嵌入后,SAM能够在50毫秒内根据web中的任何提示生成一个分割。

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

Grounding DINO是该研究团队已有的成果。

这是一个零样本检测模型,能够生成带有文字描述的物体box和标签。

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

二者结合后,可以通过文本描述找到图片中的任意物体,然后通过SAM强大的分割能力,细粒度地分割出mask.

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

在这些能力之上,他们还叠加了Stable Diffusion的能力,也就是开头所展示的可控图像生成。

值得一提的是,Stable Diffusion此前也能够实现类似功能。只要涂抹掉想替换的图像元素,再输入文本提示就可以。

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

这一回,Grounded SAM能够省去手动选区这个步骤,直接通过文本描述来控制。

另外结合BLIP(Bootstrapping Language-Image Pre-training),生成图片标题、提取标签,再生成物体box和mask。

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

目前,还有更多有趣的功能正在开发中。

比如人物方面的一些拓展:更换衣服、发色、肤色等。

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品
视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

具体食用方法也已在GitHub上给出。项目需要Python 3.8以上版本,pytorch 1.7以上版本,torchvision 0.8以上版本,并要安装相关依赖项。具体内容可看GitHub项目页。

该研究团队来自IDEA研究院(粤港澳大湾区数字经济研究院)。

公开消息显示,该研究院是一所面向人工智能、数字经济产业及前沿科技的国际化创新型研究机构,前微软亚研院首席科学家、前微软全球智行副总裁沈向洋博士担任创始人及理事长。

One More Thing

对于Grounded SAM的未来工作,团队有几点展望:

  • 自动生成图像构成新数据集
  • 具有分割预训练的强大基础模型
  • 和(Chat-)GPT合作
  • 构成一个自动生成图像标签、box和mask的pipeline,并能生成新的图像。

值得一提的是,该项目的团队成员中,有不少都是知乎AI领域活跃的答主,这次也在知乎上自答了关于Grounded SAM的内容,感兴趣的童鞋可以去留言请教~

视觉AI能力大一统!自动化图像检测分割,还能可控文生图,华人团队出品

参考链接:
[1]https://zhuanlan.zhihu.com/p/620271321
[2]https://github.com/IDEA-Research/Grounded-Segment-Anything
[3]https://segment-anything.com/