Nvidia的AI能够补全图像
majer @ 2018.05.01 , 10:00 上午不用费劲把货地学习如何使用Adobe Photoshop软件了。
美国科技公司Nvidia提出了一种处理复杂图像的新方法,它能使用神经网络算法来填补图像间的空白处,从而在合理的时间内制作出更加逼真的图像。
从相册里,选出一张和前任的照片,然后抠掉前任,再把抠去的部分用自然的背景填补,使整张照片看起来毫无破绽。我们以往为了做到这一点需要精妙的地操作图形软件。软件里提供了相关工具可以使用周围的像素来估算填充进剪影中的颜色和图案。
除了这些“有效的”外部像素,它们还会对插入到剪切片段中的副本进行采样,以便将它们组合成所有可能性中最佳的背景图案。
大多数情况下,这种方法的效果非常好。但是像素的双重倾斜也会产生粒状伪影和模糊拖尾效果,需要在后期制作中进行修复。
经验丰富的数字艺术家可以通过轻微地抚平图像来轻松完成此操作,但仍然要占用不少的工作量。
Nvidia回到了绘图板上,将智能算法用在如何有效地选择正确的像素来填补漏洞的细节,以便与周围的模式相结合。
这种新的修复过程不仅使用“有效”像素来确定哪些细节需要落在何处,而且还利用训练有素的神经网络的深度学习能力来更好地推断出它们应该如何在画面中布局。
这有点像教授艺术系学生如何对照美术馆的展出品画廊来获得绘画经验。
一点一点地,通过学习规则,他们掌握了其间的窍门,把他们笨拙的涂鸦变成杰作。
这个学习过程已经足够智能了,即使是最好的人工智能也无法掌握所有的细节。只要看看Google的Deep Dream网络创作出的噩梦景象!……还是不要吧。
最近,一位名叫Robbie Barrat的艺术家使用了类似的经典AI训练过程来生成裸体图像,好吧,它们也并不完全算是NSFW。
为了改进这一点,Nvidia应用了一种新颖的数学工具来改变AI切割区域内的像素与外部像素进行比较的方式,从而形成更加正常的混合外观。
有关该技术思想的确切细节可以在arxiv.org上找到。
看看下面的例子,比较现有的方法(b)与Nvidia的AI(c)和未未见修改的原始图像(d)。
Nvidia测试样图
当然,它并不总是完美的,但这是编辑技术的巨大飞跃。
这对艺术家来说是一场巨大的胜利,但对于我们这些试图弄清楚一张图片是否是真实呈现的人而言,就是一件令人脑壳痛的事情。
去年,Nvidia开发了一款能投入实际使用的被称为生成对抗网络(GAN)的系统,掀起了网络制作虚构图像的热潮。
他们利用GAN的力量来修改视频中的景观,改变诸如天气或一天中的时间之类的参量。
现在的技术,可以从头到尾生成一段无懈可击的视频,允许我们让总统在youtube视频中发起第三次世界大战或宣布辞职,包括声音部分都能完美的再现。或许,我们即将进入一个确定性丧失的时代。
本文译自 sciencealert,由 majer 编辑发布。
PREV : 空身深潜:仍未有人知道他们为啥能潜这么深
NEXT : 比尔盖茨为通用流感疫苗大赛悬赏1200万美元