Google的新体积捕获系统：适用于任何环境的逼真的角色照明

Google的计算机科学家正在通过一种新颖的，全面的系统彻底变革体积捕获技术领域，该系统首次能够捕获3D人体表现的全身反射，并通过AR或无缝地将其融合到现实世界中电影，游戏等中的数字场景。

即使是依靠手持设备拍摄照片或制作视频的新手摄影师和摄像师，也经常会考虑对象的照明。灯光在电影制作，游戏和虚拟/增强现实环境中至关重要，可以使场景以及场景中的演员和表演者的质量成败。复制逼真的角色照明仍然是计算机图形和计算机视觉中的难题。

尽管在体积捕获系统方面取得了重大进展，重点是具有高分辨率纹理的3D几何重建，例如实现人脸逼真的形状和纹理的方法，但为恢复人物照亮所需的光度特性所做的工作却少得多。此类系统的结果缺少精细的细节，并且对象的阴影已预先烘焙到纹理中。

Google的计算机科学家正在通过一种新颖的，全面的系统彻底变革体积捕获技术领域，该系统首次能够捕获3D人体表现的全身反射，并通过AR或无缝地将其融合到现实世界中电影，游戏等中的数字场景。Google将于11月17日至20日在澳大利亚布里斯班举行的ACM SIGGRAPH亚洲展览会上展示其名为Relightables的新系统。SIGGRAPH Asia现已进入第十二年，吸引了计算机图形，动画，交互性，游戏和新兴技术领域的全球最受尊敬的技术和创造力人士。

在业界称为3D捕捉系统的这一工作领域中已经取得了重大进步。通过这些复杂的系统，观众可以体验大屏幕上栩栩如生的数字字符，例如Avatar和Avengers系列等大片。

确实，体积捕获技术已经达到了很高的质量水平，但是其中许多重建仍然缺乏真实的照片写实感。尤其是，尽管这些系统使用带有绿色屏幕的高端演播室设置，但它们仍然难以捕捉人的高频细节，并且只能恢复固定的照明条件。这使得这些体积捕获系统不适合在不同光照条件下的任意场景中演员的真实写实渲染。

利用Google的Relightables系统，可以实时自定义角色的光照或在任何给定的场景或环境中重新为角色照明。

他们在记录在配备331个自定义彩色LED灯（也称为Light Stage捕获系统），一系列高分辨率相机和一组自定义高分辨率深度传感器的自定义测地线内记录的主题上对此进行了演示。Relightables系统每秒从近100个摄像机中捕获约65 GB的原始数据，其计算框架使该规模的数据能够有效处理。可以在此处查看该项目的视频演示：

他们的系统捕获人的反射信息-灯光与皮肤的交互方式是现实的数字人外观的主要因素。先前的尝试使用平面照明或要求的计算机生成的字符。它们不仅能够捕获人的反射信息，而且还能在人在体积内自由移动时进行记录。结果，他们能够在任意环境中重新播放动画。

从历史上看，照相机从单个角度和光线条件下记录人。研究人员指出，这种新系统允许用户记录某人，然后从任何视点和照明条件查看他们，从而无需绿屏来创建特殊效果，并允许更灵活的照明条件。

表演者与其环境之间的空间，光线和阴影之间的相互作用在营造一种临场感方面起着至关重要的作用。该系统不仅可以“剪切和粘贴” 3D视频捕获，还可以记录某人，然后将其无缝地放置到新的环境中，无论是在自己的AR体验空间中，还是在VR，电影，或游戏经验。

在SIGGRAPH Asia上，Relightables团队将展示其系统的各个组成部分，从捕获到处理再到显示，以及每个阶段的视频演示。他们将带领与会者逐步了解The Relightables建筑的内容，描述他们在工作中解决的主要挑战，并展示一些出色的应用程序和效果图。

###

The Relightables背后的Google研究人员包括：郭凯文，彼得·林肯，菲利普·戴维森，杰伊·布希，于学明，马特·沃伦，杰夫·哈维，塞尔吉奥·奥尔茨·埃斯科拉诺，罗希特·潘迪，杰森·道格拉利安，唐丹杭，阿纳斯塔西娅·塔卡奇，阿达什·科德尔，艾米丽·库珀，明松·窦，肖恩·范内洛， Graham Fyffe，Christopher Rhemann，Jonathan Taylor，Paul Debevec和Shahram Izadi。可以在以下网址访问研究人员的论文：https://dl.acm.org/citation.cfm?id=3356571。