斯坦福大学开发出4D相机技术，该技术可用于机器人、无人机、自动驾驶

斯坦福大学开发出4D相机技术，该技术可用于机器人、无人机、自动驾驶

导语

Wetzstein表示：“新算法和光学器件促进了成像系统生成前所未有的真实图像”。

编者按：本文来源微信公众号“机械鸡”（ID：jixieji2017），e科网经授权转载。

斯坦福大学研究人员开发的4D相机技术，可以提高机器人的视觉和虚拟现实能力，具有超宽的视野。

斯坦福的研究人员所描述的技术，可能需要机器来获取全球的图像，这比20年前的研究更进一步。这种4D相机，能产生四维图像，还可以捕获几乎140个自由度的信息。

图：Gordon Wetzstein（左） and  Donald Dansereau（右）

Dansereau（电子工程博士后）和Gordon Wetzstein（电气工程助理教授）与来自美国加州大学的同事们一起，在圣地亚哥创建了首个单镜头、宽视野、光场相机，并把研究成果发布于7月23日的 2017CVPR（计算机视觉会议）。

Wetzstein表示：“新算法和光学器件促进了成像系统生成前所未有的真实图像”。

普通镜头和全新设计的镜头之间的差异是，窥视孔和取景窗口。二维照片就像是一个窥视孔，因为你不能四处移动你的镜头，以获取深度、半透明或散射光的详细信息。4D相机透过窗口望去，可以移动识别形状、透明度和光线。

光场摄影，首先在1996年由斯坦福大学教授马克·莱沃伊和帕特·哈纳罕发现。光场摄影捕获的同一图像的常规2D照相机，加上大概的方向与光射到透镜的距离信息，创建了所谓的四维图像。光场摄影的共同特征是，它允许用户在拍摄后，使得图像包括关于光的位置和方向的信息重新聚焦。

图：两个138°光场的全景和第二全景的深度预估（图片来源：斯坦福计算机成像实验室和加州大学圣地亚哥分校光子系统集成实验室）

Refocus example, alternating between the foreground ducky and background elements. This was carried out using unmodified shift-and-sum LF refocus

图：使用简单的线性方法提高LF超分辨率

相机具有极宽的视野，有一个专门设计的球面透镜。然而，这种透镜也会有障碍：如何将球形图像转换到传感器上。以前的办法来解决这个问题容易出错，但结合UCSD的光学系统和专业技术以及Wetzstein的实验室有关信号处理、算法的专业知识可以解决这个问题，不仅能创建这些超宽视野图像，还可以提高成像质量。

▍机器人零距离

该相机系统中的角度，详细深度信息和潜在严谨的宽视野场尺寸可用于穿戴式装备，机器人，自动驾驶和虚拟现实增强并符合成像系统的所有期待指标。

图：博士后研究员Donald Dansereau手持全景光场相机的心脏，攻克了的宽视野场具有丰富光场信息的球面透镜

Wetzstein表示：“这个系统无论你如何移动，都可以在你空间有限任何情况下让计算机了解它周围的整个世界”。

虽然它也可以像传统相机在远距离工作，但这台相机的目的是提高特写图像。例如以下方面特别有用：包括小区域导航机器人、无人驾驶飞机和自动驾驶汽车。作为增强或虚拟现实系统的一部分，可能会导致真实场景更流畅的渲染深度信息，支持这些场景和虚拟组件之间更好的融合。

该版本将有望足够小、足够轻，用来测试机器人。

Dansereau说：“这是我知道的专门为机器人和增强现实内置了光场相机的第一个实例。

文章链接：

Matthew O’Toole, et al, "Reconstructing Transient Images from Single-photon Sensors,"  CVPR 2017