Professional Documents
Culture Documents
三维人脸建模中的应用
三维人脸建模中的应用
三维人脸建模中的应用
Mars说光场(5)— 光场在三维⼈脸
建模中的应⽤
【原文⾸发雷锋⽹】
【摘要】 — 三维建模是计算机视觉中的⼀个经典问题,其主要⽬标
是得到物体/场景的三维信息(e.g. 点云或深度图)。然⽽只有三维
信息还不⾜以逼真的渲染重现真实世界,还需要表⾯反射场信息才能
在视觉上以假乱真。本文主要介绍美国南加州⼤学ICT Graphic Lab
的Paul Debevec所引领开发的Light Stage技术,该技术已经成功
应⽤在好莱坞电影特效和2014年美国总统奥巴⻢的数字⼈脸建模等
诸多应⽤中。
1、反射场在三维成/呈像中的重要性
三维建模可以得到物体的⼏何信息,例如点云、深度图等。但为了在
视觉上逼真的重现三维物体,只有⼏何信息是不够的。不同物体表⾯
在不同光照环境下会呈现出不同的反射效果,例如⽟⽯会呈现出⾼光
和半透明的反射效果、棉⿇织物会呈现出漫反射的效果。即使是相同
表⾯,在不同光照下也会呈现出不同的反射效果,例如图1中的精灵
在魔法灯的照射下,脸上呈现出相应的颜⾊和阴影;阿凡达在发光⽔
⺟的照射下脸上和⾝上也会呈现对应的反射效果,这就是
Relighting所产⽣的效果。在现实⽣活中Relighting是⼀种再正常
不过的现象了。然⽽当电影中Relighting的效果与实际不符时,⼈
眼会感受到莫名的异常。
模拟出与真实物体表⾯⼀致的反射特性,对提⾼计算机渲染成/呈像
的逼真度⾄关重要。在实际的拍摄中并不存在精灵和阿凡达,也不存
在魔法灯和发光的⽔⺟,如何⽣成Photorealistic的图像呢?通过计
https://zhuanlan.zhihu.com/p/48080295 1/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
图 1. 反射场Relighting⽰意图
specular)。第⼆阶段是投影仪与2个相机配合完成基于结构光的三
维重建,如图4所⽰。整个采集过程耗时约1分钟,采集过程中⼈脸
需要持续保持静⽌,这对演员保持静⽌的能⼒提出了极⾼的要求。
https://zhuanlan.zhihu.com/p/48080295 3/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
https://zhuanlan.zhihu.com/p/48080295 4/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
在不同的光照环境下,⼈脸会反射出不同的“脸⾊”,例如⼈脸在火
炬前会被映红。通过改变环境光照⽽使物体表⾯呈现与之对应的反射
状态称为“Relighting”。然⽽在电影拍摄中并不能把演员置⾝于任
意真实的环境中,例如《指环王》中男主⾓佛罗多·巴⾦斯置⾝于火
⼭岩中,⼜例如阿凡达置⾝于梦幻蓝⾊树丛中。Light Stage 3并不
⽤于⼈脸建模,⽽是构建⼀个可控的彩⾊光照平台,从⽽可以实现⼈
脸实时的Relighting[6-8]。
相机之间采⽤分光片确保彩⾊图像和红外图像对齐,30%反射进入
红外相机,70%透射进入彩⾊相机,如图9所⽰。
https://zhuanlan.zhihu.com/p/48080295 7/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
https://zhuanlan.zhihu.com/p/48080295 8/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
图12所⽰,将光照模式(Lighting Pattern)从156个减少到4个,
分别是沿X/Y/Z⽅向递减的3个梯度光照和1个均匀全亮光照。由于需
要拍摄⽔平和垂直两种偏振状态下的图片,因此每个相机⼀共需要拍
摄8种光照模式下的8张图片。相比之前的Light Stage,整个采集的
时间⼤⼤缩短。如果采⽤⾼速相机可以达到实时采集,如果采⽤单反
相机需要2秒。
https://zhuanlan.zhihu.com/p/48080295 10/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
⼈脸包括低频和⾼频两种⼏何信息,低频⼏何信息主要是指⿐梁⾼
低、脸型胖瘦等;⾼频⼏何信息主要是指⽑孔、胡须、唇纹等。对于
低频⼏何信息,Light Stage 5采⽤两种三维建模⽅法:⼀种是⽤
DLP⾼速投影仪和Phantom⾼速摄像机构成基于结构光的实时三维
重建。另⼀种是采⽤5个单反相机(Canon 1D Mark III)构成多视
⼏何(Multi-view Geometry)重建三维⼈脸模型。在上述两种三
维建模⽅法的基础上,进⼀步采⽤Photometric Stereo来⽣成⾼频
⼏何模型。图13为Light Stage 5所完成的“Digital Emily”项⽬中
重建的数字演员艾米丽[13,14],左侧为重建的⾼精度Normal
Map,中间为只⽤Di use Component重建的⼈脸模型,右侧为同
时加上Di use Component和Specular Component以后重建的⾼
精细⼈脸。
https://zhuanlan.zhihu.com/p/48080295 11/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
https://zhuanlan.zhihu.com/p/48080295 12/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
https://zhuanlan.zhihu.com/p/48080295 13/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
X,⼩型可移动,专⻔针对⾼精度⼈脸反射场采集建模;其光照亮
度、光谱、偏振状态都可以基于USB接⼝通过电脑编程控制,⾃动化
程度更⾼,采集时间更短。2014年采集美国时任总统奥巴⻢头像
时,就是基于Light Stage X系统,如图18为采集现场,图19为重建
结果。Paul Debevec及其团队核⼼成员于2016年加入⾕歌
DayDream部⻔,主要是将光场技术应⽤于泛VR领域,其团队于
2018年8⽉在steam平台上上线了《Welcome to light eld》体验
应⽤。
https://zhuanlan.zhihu.com/p/48080295 15/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
(图片来源于
http://vgl.ict.usc.edu/Research/PresidentialPortrait/)
图 19. 美国时任总统奥巴⻢重建头像
(图片来源于
http://vgl.ict.usc.edu/Research/PresidentialPortrait/)
https://zhuanlan.zhihu.com/p/48080295 16/18
2020/9/23 Mars说光场(5)— 光场在三维⼈脸建模中的应⽤ - 知乎
https://zhuanlan.zhihu.com/p/48080295 18/18