video: Video of Ali Eslami discussing the 'Neural scene representation and rendering' paper. This material relates to a paper that appeared in the 15 June 2018 issue of Science, published by AAAS. The paper, by S.M.A. Eslami at DeepMind in London, UK, and colleagues was titled, 'Neural scene representation and rendering.' view more
Credit: DeepMind
谷歌DeepMind部门的科学家研发了一种机器学习系统，它仅用少数场景的2-D抽样图像就能在无需人类监督时获悉环境的3-D组成，包括其离散的物件和属性。他们的系统被称作生成查询网（Generative Query Network，GQN），它或能为朝着可自主了解世界的机器做好准备；这些机器用的是自身传感器，它们无需用人类当今标记为计算机视觉系统所需的大型数据集进行培训。GQN由两部分组成：一个是再现网络，它能从抽样图像中发展出一个编码的场景再现；另一个是生成网络，它能从新的视点传输出该场景的可能图像，它可在部分场景模糊时用来解决不确定性。GQN是用几个由不同的电脑生成的简单环境的2-D视图进行训练的；这些环境含有各种物件和照明设置。它接着会被给予一幅新的场景图像，并会从任何内含视点产生该场景预计的图像。该网络的再现可被“因式分解”，表明像色彩、形状和大小等属性是分开获悉与编码的。研究人员能通过同时增、减GQN的再现来构建新的场景；从某含有一个红色球体的场景中减除一个蓝色球体，并添加一个有红色圆柱的场景便会产生一个有蓝色圆柱的场景，所有这些都无需人类明确教授GQN有关色彩或形状的概念。该网络还显示，它能作为一种有前途的控制机器人的装置；例如，它的预测能力令其仅用一个固定的摄像机便能从不同的角度“观察”机器人手臂，这意味着准确定位与控制所需的原始数据变少。由Matthias Zwicker撰写的相关《视角》对这些发现做出了评论。
###
Journal
Science