光场—虚拟现实、增强现实、混合现实的未来

虚拟现实（VR）的世界包含沉浸式头部装备体验，比如Oculus Rift，同时延伸到到增强现实（AR）中，亦或是行业专家，比如Felix & Paul，Sebastian Sylwan更喜欢称之为“混合现实（MR）”，最有代表性的是Magic Leap和微软公司的HoloLens。之间的差别由谷歌眼镜和Magic Leap公司至今还未推出新设备可以体现。带有数据的“屏幕”出现谷歌眼镜上，并且跟随着你的头部移动，目前谷歌眼镜已经停产。它会根据你的眼睛而固定。在Magic Leap头戴设备里，数据或者信息的叠加会与世界同步。第二种方法会在你面前的桌子上出现数字棋盘格，并且当你的头部移动的时候，与桌子保持固定。 这与谷歌眼镜显示有很大不同。

John Root, Magic Leap⇒

Magic Leap公司的John Root也就虚拟现实的未来以及在不久的将来关键技术的主要部分，阐述了自己的个人观点，它称之为关键的是光场显示技术（light field display technology）。Root说，随着VR和AR(MR)的融合，声场音频和光场显示技术将会成为关键。

当你想要了解Magic Leap要做什么的时候，将其与传统的立体双眼视觉比较，对于光场技术的需求就会清晰明了。

当你用普通的被动式影院眼镜观看立体电影的时候，你的眼镜在空间中汇聚成一个点，这个点标着这一种深度（depth），但是演员的景深感与你的聚焦点不一致。换句话说，你屏幕上的焦点就是你面前的30英尺，无论你在屏幕前或屏幕后的多远，你的大脑得到了立体图像对从而认为面前的动作正在发生。

以上面的情况为例子，MR（AR）的关键是要将“棋盘格”的摆放与你面前的实际桌子有相同的深度（depth）。由于棋盘格需要表现为出现在桌子上的状态——而且你的焦点在桌子上——你要同时看到并且聚焦在虚拟棋盘格和桌子上。这种方法可行的唯一做法是，MR（AR）装备不但对正确的立体汇集（stereo convergence）进行正常的立体技巧，而且ALSO改变焦点，与你看桌子的视觉相匹配。当然，如果头部装备利用一个小视频投影机，将棋盘格投射到桌子上，那么这就不再是问题，但它并不是这样的。它将棋盘格投回到你的眼睛中——这样MR (AR)技巧就完成了。

这种MR (AR)技巧令人印象非常深刻，这就是为什么谷歌在Magic Leap上投资了643000000美元（据估计）。允许设备不经过完全重新渲染就可以改变到正确深度值的这项技术就是光场（light fields）。

光场是一个相对简单的概念，而且不是新概念，但是实际的实施非常难展开。

直到最近，只有预先渲染的序列有可能出现在VR中。在这些预先渲染的世界中，计算机摄影数学(computational camera maths)更容易一点，因为一切都是虚拟的，所以需要计算出观看光场的任意角度的方式。实际上，这个过程分为两步，将光场渲染出真实时间，然后从你需要的角度实时观看。

USC ICT的Paul Debevec

Paul Debevec引用了一些早期的论文，包括Plenoptic Modeling – An image based rendering system, Leonard McMillan and Gary Bishop SIGGRAPH 1995；Light Field Rendering – SIGGRAPH 96以及Stanford: Marc Levoy and Pat Hanrahan。早在1996年，Debevec在伯克利的时候，就已经研究了稀有光场（Modeling and rendering architecture from photographs: a hybrid geometry- & image-based approach: Siggraph ’96）。

南加州大学ICT的Paul Debevec最近展示了短暂的光场研究历史，他从上世纪90年代中期的重要论文，跨越了几十年的研究。Debevec利用概念想象节点移动360度完美捕捉，解释了光场。如果想象立体像对在节点上360度旋转——几乎就没有视差。（单镜头在节点上平移没有视差，这就是Debevec等人花费很多年制作的360探测和360全景）现在，当水平旋转360度的时候，他们将会确定一个有几英尺半径的大圆。当然，与节点案例相比，这会有大的视差，但是，如果你将每对摄像机或眼睛的中间朝中心延伸——他们仍然会绕中心轴旋转。

全光（Plenoptic）：（拉丁文）plenus（全的意思）+optic（光纤）

“对于所有光或者与其相关的，在给定空间的每个方向移动。”全光或光场相机可以捕捉一个空间或光场，然后根据需要渲染成像素。

关于光场的理念是，有了计算机摄影学，一个人可以用节点像对或眼睛扫视周围，然后找出圆中的任意点。在圆内，从一个摄影机到另一个摄影机，没有摄影机/眼睛真正覆盖不了的位置。使用计算摄影学，在所有的视图中，你可以从任何像素或者点反向推断出观点。从理论上讲，你可以从圆内的所有视图组合中，计算出任意点。如果把它看做是射线追踪，把摄影机/镜头看做是MR(AR)或VR屏幕——那么，你可以从圆中的任意点引出一条射线，并且其中一个视图会包含那条射线的路径。但是对于360度旋转，你只有水平切片。如果你想向上或向下看，你就需要更多的吊环，或者在第一环上面，或者在第一环下面，再次加上少量的重叠。

Paul Debevec求助他的朋友，一个是VR专家Greg Downing，另一个是xRez工作室的Eric Hensen，他们定期进行正常的十亿像素摄影和VR体验，来装配数码单反相机的旋转臂。有趣的是，对于这项新的实验装备，团队需要一个衡重体。什么东西与数码单反相机有相同的重量呢？另个数码单反相机（关闭）！看一下下面这个视频你就会发现第二个固定负载，SLR充当着非常昂贵的衡重体。

所以，在现实世界中，为广阔的光场中的任意方向提供所有数据，你需要很多摄影机。比如GoPros，需要大约18个摄影机，以及7个层（堆放）。这126个相机阵列，如果所有保持同步，并且与匹配曝光对齐的话，那么每帧会产生千兆像素。尽管在理论上可行，但在实践中，GoPros不能同步，并且曝光和镜头调整可控性不高——没有数码单反相机多。这就是为什么Paul Debevec和他的团队意识到，在七个不同的圆中，通过在运动控制臂上移动数码单反相机，可以实现与静态画面相同的效果。要记住的绝对关键是，团队的目标不仅仅是整合整个球形气泡。输出的不是所有摄影机位置的整合。摄影机数据是输入到光场计算，允许系统在气泡中的任何位置展示正确的立体像对。

如果同样的场景用Gopros来拍摄，你需要…很多（126）个

为了处理并显示世界首个“捕捉”或“拍摄”光场，该团队与OTOY合作，它是Octane的制造商。OTOY在产生的VR光场中，领导产业。去年，在Siggraph，他们展示了实时VR回放光场系统，它使用完全渲染的数据，提供一个非常真实并且逼真的光场。在原始的OTOY演示中，“世界”可以通过虚拟设备和被光场格式渲染的场景解决，这需要实时回放。光场需要几分钟创建帧——渲染需要多长时间并不重要，因为进入到VR设备中的回放或场景的最终渲染是实时的。其净效应是，一个人可以在OTOY Octane渲染光场中移动头部，并且到处看物体，获得视差，但是预先渲染的体验全部改进了。通常情况下，预先渲染的体验都没有头部追踪。OTOY数码虚拟相机/光场解决方案每秒工作了75帧，并且高于常规的DK2 Oculus Rift。

因为现有的VR光场播放器，压缩以及VR Oculus Rift界面已经开始运行，因此，Paul Debevec团队在静止场景中插入了真人动作捕捉，而不是虚拟的渲染。一旦这种“光场捕捉”下载到OTOY的播放器引擎中，我们就可以看到真实的公寓和办公室，并且获得视差，影像移动，规格亮点以及照射面，就好像是带有头部追踪的立体移动图像。

OTOY: Octane

OTOY当然是继续自己的光场Octane渲染路径，大大提高其渲染环境以及光场生成的简易度。

在写这篇文章的时候，Octane的当前版本是2.22版，它允许用户渲染正常的图像或者虚拟环境，来表示电脑或Oculus Rift。例如，有一个C4D的插件来渲染Octane。也有2.22版本的特殊组成部分，允许渲染特殊的光场解码器。这要求OTOY的团队渲染出测试光场——并且90天免费。该版本将会用Blender工作（但不是Max 或Maya）。

随着Octane 3.0版本的发布，这个插件将被整合到其中，每个普通用户使用3.0版本都可以渲染光场，VR，当然高质量的图像可以用作任何用途。Octane 3.0还包含许多新特性，例如暂停/恢复渲染等等。

在Octane中的Volumetric Primitivez

目前，Octane的大部分渲染工作已经成为身临其境的光场静止环境，但是有了OTOY解码器和系统设计，你能够渲染动画，全光场动画（文件以25Mbs工作）。这就意味着实时头部移动和你看到的世界都是移动的动画世界——时空虚拟运动。

Octane渲染器有一系列产品的插件，从3DsMax 到 Maya，甚至Nuke。

OTOY也参与了各种不同的运动机构的实景拍摄测试，例如，国家冰球联盟（NHL），但至今这未使用光场捕获。

Otoy CEO Jules Urbach

NHL测试

2月份，OTOY与New Deal工作室及Immersive Media一起合作，在加利福尼亚对虚拟NHM进行测试。他们在李维斯体育场对LA Kings和San Jose Sharks之间的NHL 体育场系列比赛进行了预览。有了360度高清现场直播，OTOY打破了新的记录6K高帧速率，高动态范围成像360度数据流，为球迷提供非直播内容。OTOY表示，下一步他们将“使用实验光场相机记录未来事件，其目的是提供更高质量的体验，并且随着时间的推移，这将有益于现场直播虚拟体验。”

HoloLens

与此同时，在Paul Debevec出席FMX 发布会上，来自Hololens/微软的Alex Laurant也进行了发言。Laurant是该项目的艺术总监，此前一直在ILM，Crytek和EA公司。微软不仅建立了自己的MR(AR)头部装备，而且也在最基本的层面与Windows 10挂钩，以支持和配合Hololens工作。作为代表，MR (AR) 预计将来比目前的VR有更小领域的视图，并且它面临着一系列大问题，其中一个是MR (AR)的轴心点是你的眼睛，你需要有一些不透明贴图去阻碍或者巩固重叠影像，否则，重叠图形显得微弱，半透明在空中像幽灵一样。

Nozon & Presenz

Arnold – Solid Angle party at FMX demo’ing Presenz⇒

在FMX上，令人惊讶且有趣的技术并不是在演讲中或者在展会现场，而是Arnold (Solid Angle) 派对上的展示。

Presenz如此例外，是因为它展示了非光场动画场景，其中的头部运动被追踪。换句话说，它对于大多数（如果不是全部的话）渲染动画光场的性能形成起着重要作用，但不使用全光光场方法。

有了虚拟设备，用户可以向前倾斜，环顾四周并且在有限的空间里移动，观看移动的渲染画面。有限的空间是你身边一个一乘一米的盒子，当你观看VR的时候，它能当场启动。这个概念是，为了安全，大多数人观看坐着或站着观看虚拟现实——因为对于这个新世界你是完全空白的——你几乎不走动。

使这更令人不可思议的原因是，这个流程基于标准的Maya-Arnold渲染。该团队开发了Arnold渲染的插件或者版本，这需要正常的资产，需要正常的着色器，并且允许他们被渲染，所以完成的文件可以在Oculus Rift上播放，并带有完全的头部追踪（当与电脑相连的时候）。这是非常重要的。想象一下，在后期工作时，客户需要你的团队以刚刚创建的奢华的车广告进行虚拟现实体验。如果你被允许使用Presenz——你已经建立和渲染的相同的汽车资产和3D环境，可以快速转成真实逼真的虚拟现实体验。系统现在在Rift上运转，但是它可以在理论上的任何虚拟设备上运转。我们检测的文件是工业生产品级，但是渲染的文件仍然非常大——对于普通的下载来说太大了，然而，对于Nozon团队来说仍然是初期。

我们没有DNA或者特殊的秘诀去洞察他们如何做到的，但是据理推测，他们使用Arnold的深层数据进行渲染，并且以某种方式执行实时虚拟现实头部追踪版本的场景。在复杂层面上，我们最先看到的整个场景，不能从头开始被完全实时渲染，所以，很显然，Nozon团队很聪明，他们有中间格式，从中完成最终渲染。

在今年的FMX上随处可见的VR和光场

Next VR

我们采访了NextVR的联合创始人Dave Cole，他解释了在现有的现场直播技术之上如何建立，它最初是为3D电视设计的。这项技术从立体像对提取了深层的信息，目的是保持边缘信息的力量，因为当到达广播信道时，图像被不同压缩阶段通过。

“NextVR使用这个来提取深度信息，并且使用不同频道信号传输，所以，它不受制于深度提取，然后它作为最终呈现的一部分被渲染，支撑闭塞并保持边缘锐利，从而避免早期立体转换中出现的‘橡胶垫’（‘rubber matting’）”Cole说。

“这项技术意味着NextVR上的所有设备都带有特征检测，并且深度信息生成了NextVR传输途径的一部分。深度图用来创建简单的环境网格，我们用该网格来做一些事情，其中之一是，在传统意义上，我们不缝合——在播放器中，我们基本上建立了虚拟世界的表现，然后我们将纹理材质与虚拟世界匹配——所以，当你获得内容体验时，你实际上是在体验CG虚拟世界或者映射到网格上的近似值，这就是我们真正的秘密武器。”Cole解释说。

NextVR集中在几个关键的虚拟现实领域，但是主要是对体育赛事的VR现场直播。正是在这一背景下，NextVR使用了包括光场在内的技术，以产生更多的互动体验。NextVR敞开的说明了其使用的光场并不像OTOY的一样有技术。通过从实况转播的位置建立篮球场的深度图，NextVR似乎能够创造更多身临其境的体验。在3D舞台上，他们有效的放映了实时拍摄的事件——这样能提供更多的视差。有了这个舞台，光场可以被使用，但是这个团队也使用LIDAR以及其他非实时工具。

对于场上移动的球员，我们相信可以用其他有效的技巧来创建他们的深度，因为一定的时间量已经被明显的VR渲染了，NextVR不能扫描球员，制造每个帧的3D模型，并且将球员的VR镜头投放回他们身上。这远远超越了任何3D或者虚拟现实系统的性能。但是，解决这个舞台的问题，让移动的演员出现在舞台上（或者在这种情况下的篮球运动员），给其配置少量的3D精确度是有可能的——但是，它依然有足够的保真度去完成错觉和身临其境的体验。

成功地与众多体育，新闻以及娱乐团体（包括NBA, the NHL, 福克斯体育, NASCAR, 酷玩乐队等等）合作后，NextVR正准备他们开发的下一个阶段。随着虚拟现实逐渐成为主流， 通过NextVR不断扩张，重点行业的杰出人物，像Peter Guber（曼德勒娱乐公司的创始人兼首席执行官）也已经加入了咨询委员会，以提供战略性的建议。

“对于那些还未体验过的人来说，很难想象NextVR能够提供实时虚拟现实技术。他们设计二了最周密的东西，让你虚拟置身于屋子里最好的座位，那是有可能的。这对于体育直播，节日，音乐会，购物及旅行来说是一场变革”Peter Guber在发布会上说道，他是曼德勒娱乐公司的首席执行官。

在AR/MR空间中使用最多的穿戴设备是SLAM。SLAM又称实时定位和追踪，在追踪目标位置的同时，能够构建和下载未知环境的地图。他来源于机器人。谷歌的Tango项目就是一个很好的例子。Tango项目带有运动追踪，深度获取以及下载区域学习到移动设备，比如头部设备AR/MR单位。另外注意： Oculus Rift近日购买了SLAM公司的Surreal版本。

因此，在没有渲染光场的情况下，NextVR提供了强大的身临其境的体验，尽管在某些情况下，他们已经运用光场帮助了项目的启动。他们也使用了雷达，摄影机并且在网格空间中使用自己的位置，我们也使用了‘飞行时间’，使用了‘结构光’—只是雷达和SLAM，我们“我们使用了动态光，但是在这之中，获得精确深度图的最有效的方式是光场，然后它能够在进程中包含我们已经做好的深度图。”Cole说。

NextVR的流程非常重要，它已经获得了很多专利。公司的目的是追求最大的画面质量，掌握高分辨率，经常使用多台6K拍摄的RED相机，远远超过其需要的帧速率，既是为了图像的高保真度，也是降低图像的噪点。

Cole指出了不需要粉碎暗部或剪辑量部而有低噪点和高动态范围的绝对需要。“观看者可以忍受的（在虚拟现实中）比在传统的在3D显示器上要少的多，像是3D电影或在3D电视上。”他说道。“当你沉浸的水平越来越高，对人工产品的忍受度就越来越低”质量显然是过程的关键，因为多个RED设备在分辨率和质量上都是纸上谈兵的，但是Cole认为产生好的虚拟现实的关键是拍摄的高质量。

这张图上你可以看到NextVR的几何的叠加以及实景真人

大众媒体已经采取了NextVR对光场的使用，那就意味着他们有了实时全光场解决方案，公司强调情况不是这样的。当然，他们如何制作身临其境的现场活动对于公众来说并不重要——真正重要的是，他们的体验能让人信服并且快乐。

NextVR的解决方案是有效的，不再是处理器密集型然后说电脑游戏引擎的VR体验。他们是在“破坏解码器”，Cole来玩笑说，“在他们应用程序的手机版本中，我们放置在手机上的热负荷是与你在GearVR(2880 x 1440 @60Mhz)上打硬核游戏或者虚拟现实游戏一样强烈。”“NextVR能够以每秒4到8百万位流动。并且有非常精确的压缩“Cole说。

但是，对光场这样的解决方案，NextVR有一个准许6个自由度（位置跟踪）的解决方案，但是，他也允许双目立体视觉的应用程序。”Cole解释说，他指的是Magic Leap一类的东西。Cole还指出，对于此类MR解决方案，理想状态下，你想要完整的方案，从获取和渲染的角度来说，这不太可行。但是实时立体分辨率与预先计算的地图的混合，的确能在未来体积应用方面提供真正的潜力。我们可以将视频体验渲染到足够精确的体积中，使其在此种非立体和渲染技术内部工作。

（本篇文章系Cgangs独家编译，如有转载，请注明Cgangs.com）

————————————————————————————————————————

VR速递

第一时间为大家提供最新最有料VR/AR资讯！娱乐资源、VR项目及各种有趣内容，促进开发者、投资人及用户交流，增强产业影响力！

欢迎关注VR速递（cgangsvr）公众号。每日一读，私享创意。