背后的谷歌开发者,已研究黑白照上色5年多了

金磊 Alex 发自 凹非寺

量子位 | 公众号 QbitAI

这是清朝末代皇后婉容广为流传的一张老照片:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

如果让照片变成彩色的,会是什么样子?

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

竟然没有什么违和感,百年前的老照片似乎在此刻变得鲜活了起来。

而这张图上色的背后,并没有真人在一步步操作渲染,而是一个AI一键搞定的那种。

它叫Palette.fm,是由谷歌机器学习研究员Emil Wallner打造。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

只需要一个“拖拽”或“上传”动作,就能呈上数十种不同风格的彩色照片。

甚至对想要的效果,还能用自然语言去描述生成。

更重要的是,小哥搞的这个网站还是免费、不需要注册或登录的那种。

于是乎,这个网站在“黑白照上色”圈里火了一把。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

很easy地让黑白照变彩色

正如我们刚才提到的,这个AI非常明显的一个标签,就是操作简单。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

然后静等几秒钟,上传的黑白照就立马“光彩照人”了:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

如果对于网站给出的“基础款”上色效果不满意,别急,后边还有一大堆上色效果可选:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

但若是对这么多的上色效果还不满意怎么办?

那咱就“自定义”一套,用自然语言描述一下就行的那种。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

只需要在编辑框内用自然语言描述下想要的效果,然后点击一下“Colorize”,就能得到你想要的效果啦~

以及还有个“Surpise Me”的功能,会让这个AI自行脑补些有趣的上色提示词。

玩法很简单,但肯定有好奇的友友们要问了:“AI自己补的色,能很真实地做到还原吗?”

Good question!

咱们现在就用这个AI上色的效果跟真实照片的色彩做个大PK。

原照片是长这样的:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

然后咱们用Photoshop将它调成黑白色:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用
用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

不难看出,AI在没有任何提示之下,首先联想到的上色方案,是偏午后阳光的湖面之景。

然后我们只需要把提示词稍作修改,就可以让效果接近原图了:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

至于这个AI背后的具体技术,小哥并没有透露特别细节的内容,但对大体的过程做了描述:

通过机器学习模型对图像进行分类,对上传的图像会有个自己初步的上色方案。

我主要做了2个AI模型,一个用来生成文本,一个用来上色。

网友:比其他上色AI更好用!

其实AI给黑白图片上色,已经不是很新鲜的事儿了。

但是围观的网友们纷纷表示,Palette.fm的比他们之前用过的其他AI更好用!

而这也让一位兼职着色师对Palette.fm“爱恨交加”:

因为这个AI的着色能力着实很突出。他之前也试过ImageColorizer.com等其他AI工具,但都没有这样的效果。

比如对英格丽·褒曼这张在《卡萨布兰卡》里的剧照上色:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

他认为,ImageColorizer几乎只把人物颜色补充得还可以,而背景色处理得并不咋滴;而Palette.fm则把人物和背景颜色都补充得更生动自然。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

△左为ImageColorizer处理结果,右为Palette.fm处理结果

(右图更有电影感有木有?)

但另一方面,这位兼职着色师也有点儿担心AI过于强大,会抢了他的饭碗……

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

还有网友用Palette.fm给自己已逝父亲的黑白旧照上色,然后惊喜地表示,有那味儿了!

除了给人物照片着色之外,还有人也对风光照片下手了。

Ta用Palette.fm“复原”了1920年代的街景。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

不过与此同时,也有网友认为,这个AI依然存在“偏见”

其中最主要的一点就是,AI会把旧事物描画得比较沉闷,一看就很有年代感;但其实过去的东西往往也是很丰富多彩的。

就拿一位俄罗斯摄影师在1909年至1915年间拍摄的照片来说,原图是彩色的,研究人员把这些图弄成黑白之后,再让AI上色。

结果是这样的:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

而实际上,原图是酱婶儿的:

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

也就是说,AI给较古早的图像着色时,居然还自带一层“年代滤镜”。

所以不少人依然觉得,虽然AI的技能正在突飞猛进,但有些事儿吧…还得靠真人来完成。

开发者已研究黑白照上色5年多

再来说说这个涂色AI背后的主人公,机器学习研究员Emil Wallner。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

Emil目前在谷歌工作,并使用ML来探索艺术和文化。

事实上,关于给黑白图片上色,这位哥们儿已经研究了5年多。

他分享道,上色过程背后的一些代码,是用谷歌的TensorFlow来编写的。

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

而且近年来,这些算法一直在多项反复的实验中不断地优化着。

截至目前,这个AI已经从上百万张图像上学习过了,所以它的着色效果会比许多同类AI都更精准。

另外值得一提的是,Emil本人很支持“开源”,他已经把自己写的代码都公开了。

他指出:

如果学习算法变得越来越容易,大家就可以相互学习到更多东西。

对了~前文也说到Palette.fm可以免费试用,量子位用赫本的剧照试了下,亲测不戳

用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用
用文字描述给黑白照上色,这个免费网站火了!网友:比其他同类都好用

想自己动手给黑白老照片上色的友友们,可以戳下面的链接试一试。

传送门:
https://palette.fm/
参考链接:
[1]https://arstechnica.com/information-technology/2022/10/colorize-black-and-white-photos-with-palette-fm-an-ai-powered-online-tool/
[2]https://www.loom.com/share/dc62bad90d2349f09ac9ad1e37216a4d?sscid=a1k6_opui3&utm_source=shareasale&utm_medium=affiliates&utm_campaign=314743
[3]https://news.ycombinator.com/item?id=33261494