为了理解视觉世界，仅仅知道你在看着一只猫是不够的，你还要知道猫在哪里停下来，以及背景始于哪里，终于哪里。

[-]
通过脸书的算法，图片中的不同物体被高光标记了

由脸书研发和公开发布的一款计算机视觉算法就让电脑有了这个本事。它不仅能辨认图像里有什么，还能辨认出跟具体物体相关的形状。这听起来似乎不难，但是想要通过编程让电脑实现这样的功能，其难度已经超越了现有的一切视觉系统。

现在，脸书的算法还只是一个研究工具。但最终，它将拥有一系列重要应用：让影像编辑程序自动改变背景，或者让图片中的人物变亮；让盲人电脑使用者可以理解图片；甚至识别物体，让皮卡丘爬上去，让Pokémon Go这样的现实增强游戏变得更加真实。

近年来，计算机视觉领域取得了重要进展，但是主要都是识别物体或者场景。研究者们已经开始将目光转向更深层次的图片理解上，这对制造更加智能的机器而言非常重要。“对电脑而言，最难的事情之一就是理解现实——那里到底有什么，”脸书的一名研发经理Larry Zitnick说。“局部图像分析是场景推理的重要组成。”

Zitnick说这种算法可能最终用作研发一种可以自动给图片里的物体加高光的系统，或者开发更好的现实增强app。“如果你想把一只虚拟小狗放在房间里，”他说，“你可以把它放在沙发上，或者放在沙发的某个具□□置上。”

在过去几年里，计算机视觉领域取得了很多成就，都是通过大量样本训练模拟神经网络给影像分类。这些“深度学习”系统通常会识别一系列特征，比如颜色和花纹，但是未必能识别物体的轮廓。

脸书的算法结合了好几种神经网络来进行这种“局部图像分析”。前两种网络是用来确定单个像素是否是一个物体的一部分；第三种网络则用来确定这些具体物体是什么。

加州大学洛杉矶分校的计算机视觉教授Stefano Soatto说这一工作“非常重要”，将会产生很多的应用，因为图像局部分析是极其困难的事情：“每个两岁小孩都都能在图片里指出某个物体，并且能追踪它们的轮廓线，但是这是一个去伪存真的复杂过程。人类经过数百万年的进化才获得了这一能力，而且我们一般的脑区都牵涉到这个过程中。”

本文译自 technologyreview，由 许叔 编辑发布。

PREV : 为帮朋友捞手机，整个人卡在了马桶里
NEXT : 被掩埋的美洲文化：世界最大金字塔