Professional Documents
Culture Documents
显示
显示
Mars说光场(4)— 光场显⽰
【原文⾸发雷锋⽹】
【摘要】 — 重现⼀个真实的三维世界,实现类似于《阿凡达》电影
所展⽰的全息显⽰,是⼈类⻓久以来的梦想。如果能采集并投射出全
光函数中7个维度的光线,将能使环境中所有⼈同时获得⾝临其境的
全息视觉体验。光场作为理想的3D显⽰技术与传统2D显⽰有着明显
的区别:传统的2D显⽰器只能提供仿射、遮挡、光照阴影、纹理、
先验知识五⽅⾯⼼理视觉信息。光场显⽰除了能产⽣传统2D显⽰器
的所有信息外,还能提供双⽬视差、移动视差、聚焦模糊三⽅⾯的⽣
理视觉信息。在光场显⽰技术发展过程中,出现了多种光场显⽰技术
⽅案,引起⼴泛关注和研究的主要有五种技术:(1)体三维显⽰
(Volumetric 3D Display);(2)多视投影阵列(Multi-view
Projector Array);(3)集成成像(Integral Imaging);
(4)数字全息;(5)多层液晶张量显⽰。关于三维显⽰的详细发
展历史及其应⽤可以参⻅[1-11]。
https://zhuanlan.zhihu.com/p/48079700 1/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 1. 电影《阿凡达》中描绘的光场全息三维军事沙盘
1、体三维显⽰
体三维显⽰技术[12,13]主要通过在空间中不同深度平⾯显⽰不同图
像来实现。如图2所⽰,屏幕沿着Z轴⽅向快速往返运动,屏幕移动
到不同位置时投影仪投射出不同的图像[14];当屏幕的移动⾜够快
时,由于⼈眼的视觉暂留特性从⽽在眼前显⽰出三维立体图像。然⽽
⾼速且匀速的往返直线运动难以实现,因此在体三维显⽰系统中将平
移运动转化为旋转运动。
图 2. 平移式/旋转式体三维显⽰原理⽰意图
Langhans 从90年代开始研发体三维显⽰,并陆续推出了名为
“Felix”的体三维显⽰样机。Langhans 在1996年发表了基于激光
扫描的体三维显⽰技术[15],在1998年将体积进⼀步缩⼩形成便携
式的体三维显⽰[16],后于2002年实现了可交互的体三维显⽰
[17]。
https://zhuanlan.zhihu.com/p/48079700 2/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 3. 德国Felix体三维显⽰系统
美国南加州⼤学Andrew Jones于2007年研制了360°体显⽰系统
[18],如图4所⽰。该系统通过⾼速投影仪将图像投到⼀个⾼速旋转
的反射镜上。当镜⼦旋转到不同的位置,投影仪投出对应视点的图
像,从⽽实现360°环视光场显⽰。Jones在2009年进⼀步将⼈脸实
时重建技术加入到光场显⽰系统,实现了远程裸眼3D视频会议
[19]。
https://zhuanlan.zhihu.com/p/48079700 3/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 4. 美国南加州⼤学实现的360度光场显⽰
体三维显⽰技术在我国起步较晚,中科院⾃动化研究所于2007研制
出基于DMD⾼速投影仪的体三维显⽰系统Helix[20],如图5所⽰,
其视点分辨率为1024*768*170,每个体素的⼤⼩为
0.23*0.23*1mm3,对比度为800:1,3D图像的亮度为100Lux,
3D图像刷新率为15fps。实现体三维显⽰的核⼼思路是分时复⽤地在
空间中投射不同的图像,牺牲反射场函数中时间t维度换取深度z维
度,这就要求投影仪具有非常⾼的显⽰帧率。该系统投影170层图像
并保持15fps的刷新率,则要求投影仪每秒投影2550幅图像。为了达
到如此⾼的帧率,投影仪只能⼯作在单⾊模式下。
https://zhuanlan.zhihu.com/p/48079700 4/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 5. 中科院⾃动化所研制的体三维显⽰系统Helix
体三维显⽰技术原理简单,实现了有限的空间内反射场函数中的5个
维度(x, y, z, λ, t),但体三维显⽰技术存在多⽅⾯缺陷:1)体三维
显⽰技术的显⽰器件不是⼀个平⾯,⽽是⼀个立体空间,因此占地⾯
积⼤。2)螺旋⾯的成型精度要求⾼,因此加⼯成本⾼,不利于量产
化。3)单位时间内形成的体素数量有限,视点分辨率有限。4)体
三维显⽰系统需要加入旋转机械运动,投影与运动同步控制困难。
2、多视投影阵列光场显⽰
多视投影阵列三维显⽰技术通过多个投影仪组成的阵列向空间中⼀定
⾓度范围内不同⽅向投射不同图像。相比于体三维显⽰技术, 多视投
影三维显⽰技术保留了裸眼、多视等优点,并且显⽰屏幕更接近传统
的平⾯显⽰器,符合⼈眼观看显⽰器的习惯。同时,多视投影三维显
⽰技术去掉了系统中机械运动部件和螺旋显⽰屏幕,还可以显⽰复杂
纹理和彩⾊三维内容。但其明显缺点是成本⾼昂、占地空间⼤。
浙江⼤学于2012年构建了全视向的三维显⽰[21],随后⼜展⽰了
360°三维显⽰系统[22,23],如图6所⽰。北京理⼯⼤学在2015年实
现了可触摸的360度光场显⽰[24],如图7所⽰。北京邮电⼤学将多
投影3D显⽰应⽤与地理信息系统[25],并比较了3D投影与柱⾯光场
在垂直视差上的区别[26]。
https://zhuanlan.zhihu.com/p/48079700 5/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 6. 浙江⼤学360度多视三维显⽰系统
图 7. 北京理⼯⼤学360度悬浮光场显⽰
南加州⼤学Graphic Lab在2014年提出了⼀种具有垂直视差的投影
仪阵列光场显⽰⽅案[27],如图8所⽰。所提出的⽅案通过⼈眼跟踪
来判断⼈眼相对于屏幕的⾼低位置,并根据⼈眼位置实时渲染对应视
https://zhuanlan.zhihu.com/p/48079700 6/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
点图像。该技术沿⽤⽔平排列的投影仪阵列同时获得了⽔平视差和垂
直视差,但是当同⼀⽔平位置上出现⾼度不同的两个(及以上)观众
时,只有其中⼀个观众能观看到正确视点图像。
图 8. 南加州⼤学实现的⽔平投影仪阵列
南加州⼤学Graphic Lab于2016年提出了与真⼈1:1的多视投影光场
显⽰系统,并实现了实时对话,如图9所⽰,该系统包括216个投影
仪、6台PC主机。
图 9. 南加州⼤学实现的真⼈1:1的多视投影光场显⽰系统
之前外界猜测Magic Leap可能使⽤的光纤扫描投影技术,其实就是
基于投影阵列的光场显⽰。如果投影仪真的能做到1毫米直径,那么
Magic Leap的光场显⽰⽅案是可⾏的。但最新上市的Magic Leap
https://zhuanlan.zhihu.com/p/48079700 7/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
One并没有采⽤这种⽅案,显然是投影仪的微型化还不能在⼯程上⼤
规模实现。
3、集成成像光场显⽰
集成成像[19]最早是将微透镜阵列放于成像传感器之前实现光场采
集。光场采集和光场显⽰的光路是可逆的,因此集成成像技术既可应
⽤于光场采集[28],⼜可应⽤于光场显⽰[29,30]。⽬前已经商业化
的裸眼3D电视正是基于集成成像原理。
韩国国立⾸尔⼤学Byoungho Lee于2001年将柱⾯透镜光栅覆盖在
LCD表⾯实现了动态的集成成像3D显⽰[31]。⽇本NHK的在1997年
采⽤梯度下标克服了深度有限的问题[32]并在HDTV上实现了实时的
三维显⽰[33]。东京⼤学Naemura在2001年实现了集成成像的任意
视点合成[34]。国内四川⼤学于2009年利⽤2层光栅实现了3D显⽰
[35],在2010年通过叠加两块具有不同LPI(Line Per Inch)参数
的柱⾯光栅所实现的3D显⽰具有更⼩的图像串扰,更⼤的可视⾓
[36],如图10所⽰。北京邮电⼤学也尝试了两个光栅组合的3D显⽰
[37]。
图 10. 四川⼤学采⽤两层柱⾯光栅叠加实现的集成成像3D显⽰
柱⾯透镜光栅的主要作⽤是将不同像素的光线投射到不同的⽅向。如
图11所⽰,柱⾯透镜下所覆盖的8个像素分别产⽣不同的颜⾊,从⽽
向不同⽅向投射出不同颜⾊的光线。然⽽单个柱⾯透镜的宽度⼀般并
https://zhuanlan.zhihu.com/p/48079700 8/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
不等于整数个像素的宽度,因此会存在某个像素横跨两个柱⾯透镜的
情况,此时会产⽣光线串扰。在商业化的产品中普遍采⽤的技术⽅案
为:将柱⾯透镜光栅相对屏幕倾斜,然后通过软件算法来减轻光线的
串扰。
图 11. 柱⾯透镜光栅光学特性⽰意图
基于柱⾯透镜光栅的光场显⽰存在⼀个明显的缺陷:视点图像分辨率
损失严重。柱⾯透镜光栅的尺⼨由LPI(Lens Per Inch)决定。当
LPI较⼤时,每个柱⾯透镜覆盖的像素就越少,从⽽产⽣的视点数量
较少,在观看时会产⽣视点不连续的情况。当LPI较⼩时,每个柱⾯
透镜覆盖的像素就越多,产⽣的视点数量也较多,但每个视点的图像
分辨率损失严重。由于整体可控的像素数量是⼀定的,当柱⾯透镜覆
盖更多的像素时,单个视点的图像分辨率损失严重。例如采⽤4K显
⽰屏(4096x2160),⼀般商业化的裸眼3D显⽰器在⽔平⽅向产⽣
16(或32)个视点,则每个视点的分辨率降低到256x2160。虽然
存在分辨率损失的问题,但基于柱⾯透镜光栅的光场显⽰⽅案成本低
廉,成为了⽬前唯⼀⼤⾯积商业化应⽤的裸眼3D显⽰⽅案。⽽且显
⽰器⾯板的分辨率正在逐步提⾼,视点图像分辨率损失的问题将会逐
步得到解决。
4、全息显⽰
https://zhuanlan.zhihu.com/p/48079700 9/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
光场可以看做是“离散的”、“数字化的”全息,当光场的⾓分辨率和
视点分辨率不断提⾼,光场的显⽰效果也将不断逼近全息显⽰。全息
显⽰技术在近⼏年不断发展,Tay Savas于2008年在《Nature》上
展⽰可更新内容的全息显⽰[38]。 P.A.Blanche于2010年在
《Nature》上展⽰过彩⾊的全息显⽰[39]。总体⽽⾔,全息的显⽰
是终极的光场显⽰效果,但动态彩⾊⼤尺度的全息显⽰技术尚不成
熟,仍有待于材料学、微机电、光学等多学科的共同进步。
国内北京理⼯⼤学和上海⼤学在全息成像⽅⾯积累了⼤量⼯作。北理
⼯在2013年通过调制复振幅实现了动态3D全息显⽰[40]。在2014年
采⽤编码复⽤实现了动态彩⾊3D全息显⽰[41],如图12所⽰。随后
在2015年采⽤压缩查询表的⽅法在3D全息显⽰中实现了CGH
(Computer Generated Hologram)[42]。
图12. 北京理⼯⼤学2014年实现的彩⾊3D全息显⽰
5、多层液晶张量光场显⽰
https://zhuanlan.zhihu.com/p/48079700 10/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
光场比传统2D图像具有更⾼的维度,不论是光场的采集还是显⽰都
会⾯临牺牲图像分辨率来换取⾓度分辨率的两难境地。国际上最新的
研究思路是将⾼维的光场进⾏压缩分解。张量光场显⽰技术最初由美
国MIT Media Lab的Gordon Wetzstein提出[43],如图13所⽰。
Gordon Wetzstein将光场表⽰为⼀个张量(Tensor),对张量进
⾏分解即可将⾼维度的光场压缩为多个向量的张量积,从⽽利⽤有限
层数的液晶就可以显⽰出完整的光场。基于多层液晶的张量光场显⽰
原理比较复杂,⽬前公开的资料比较少,因此本文将⽤较⼤篇幅来剖
析其⼯作原理。
5.1 液晶⼯作原理
液晶的⼯作原理直接关系到多层液晶光场显⽰样机的搭建,在搭建多
层液晶样机之前有必要详细了解液晶的⼯作原理及特性。如图14所
⽰[44],背光板发出的光线是均匀⾃然光,经过下偏光片(起偏
膜)过滤变了偏振光。对液晶层施加电压后,液晶会扭转偏振光的偏
振⽅向,扭转⾓度的⼤⼩与施加电压成正比,也即与像素值的⼤⼩成
正比。经液晶扭转后的偏振光被上偏光片(阻偏膜)过滤,偏振光与
上偏光片的夹⾓越⼩则透过的光线亮度越⾼。下偏光片与上偏光片的
偏振极性始终垂直。当液晶像素值为0时,液晶对偏振光的扭转⾓度
也为0,偏振光的偏振极性与上偏光片的偏振极性垂直,所以该像素
点发出的光线衰减到0,如图14中蓝⾊偏振光。当液晶像素值为1
时,液晶对偏振光扭转90度,偏振光的偏振极性与上偏光片的偏振
极性平⾏,所以该像素点发出的光线不衰减,如图14中红⾊和绿⾊
偏振光。
https://zhuanlan.zhihu.com/p/48079700 11/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 14. 液晶⾯板⼯作原理⽰意图
(图片来源于
https://www.xianjichina.com/news/details_34485.html)
5.2 多层液晶偏振特性
从上述液晶的成像原理可知每层液晶显⽰⾯板都具有起偏膜和阻偏
膜,如果直接将多层液晶显⽰⾯板平⾏堆叠起来,那么⽆论将液晶像
素设为多少值,背光发出的光线都⽆法穿透多层液晶,从⽽⽆法显⽰
任何图像。如图15所⽰,由于第⼀层液晶LCD#1阻偏膜的存在,背
光发出的光线经过第⼀层液晶后必定为偏振光且偏振极性与第⼆层液
晶LCD#2起偏膜的偏振极性垂直,理论上不会有任何光线经过第⼆
层液晶,也就不会有光线进入第三层液晶。所以,多层液晶前的观看
者不会接收到任何光线,呈现⼀片漆⿊。
https://zhuanlan.zhihu.com/p/48079700 12/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 15. 直接堆叠多层液晶的偏振特性⽰意图
由上述分析可知,直接将多层液晶显⽰⾯板平⾏堆叠起来⽆法实现光
场显⽰。为了使得多层液晶能够按照光场4D模型来⼯作,需要重新
排列偏振膜。有两种偏振片排列⽅式,分别称之为乘法模型和加法模
型。乘法模型的偏振片排列⽅式如图16所⽰,如果有N层液晶则需要
(N+1)块偏振片,在任意两块偏振片之间放入⼀块液晶,且任意两
块相邻的偏振片的偏振极性互相垂直。图16中P1偏振片为正45度偏
振极性,对背光进⾏起偏,所以进入LCD#1的为正45度偏振光。P2
偏振片为负45度偏振极性,对LCD#1的偏振光进⾏阻偏,从⽽调节
从LCD#1出来的光线的亮度,同时保证进入LCD#2的光线都为负45
度偏振极性。同理,P3偏振片为正45度偏振极性,对LCD#2的偏振
光进⾏阻偏,从⽽调节从LCD#2出来的光线的亮度,同时保证进入
LCD#3的光线都为正45度偏振极。以此类推,每⼀层液晶都对进入
的光线起到了亮度调制的功能,从⽽实现了多层液晶联合调制光线。
光线从背光板发出穿过多层液晶,每穿过⼀层液晶,液晶就会对上⼀
层液晶的偏振光进⾏偏转,且上⼀层液晶的偏振⾓度不会累加到当前
层液晶的偏转,所以调制关系为乘法运算,可表⽰为式(1)。当然,
我们也可以将乘法运算通过对数转换为加法运算,如式(2)。
https://zhuanlan.zhihu.com/p/48079700 13/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
其中,a, b, c分别为⽬标光线与LCD#1,LCD#2和LCD#3交点上的
像素值;为多层液晶联合调制后光线的亮度。
图 16. 多层液晶的乘法模型偏振片排列⽰意图
加法模型的偏振片排列⽅式如图17所⽰,如果有N层液晶,不论N为
多少,则都只需要两块偏振片,分别位于第⼀层液晶的起偏位置和第
N层液晶的阻偏位置,且两块偏振片的偏振极性互相垂直。图17中P1
偏振片为正45度偏振极性,对背光进⾏起偏,所以进入LCD#1的为
正45度偏振光。LCD#1对进入的光线进⾏偏转,然后进入LCD#2。
LCD#2在LCD#1偏转⾓度的基础上进⼀步对光线进⾏偏转,偏转后
的光线进入LCD#3。同理,LCD#3在LCD#1和LCD#2偏转⾓度的
基础上进⼀步对光线进⾏偏转。P2 偏振片为负45度偏振极性,对经
过LCD#3偏转后的光线进⾏阻偏,从⽽调制光线亮度。光线从背光
板发出穿过多层液晶,每穿过⼀层液晶,液晶就会对上⼀层液晶的偏
振光进⾏偏转,且上⼀层液晶的偏振⾓度会累加到当前层液晶的偏
转,最后进入⼈眼的光线亮度由多层液晶偏振⾓度之和来决定,所以
多层液晶的调制关系为加法运算,可表⽰为式(3)。
https://zhuanlan.zhihu.com/p/48079700 14/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 17. 多层液晶的加法模型偏振片排列⽰意图
其中,a, b, c分别为⽬标光线与LCD#1,LCD#2和LCD#3交点上的
像素值;为多层液晶联合调制后光线的亮度。
5.3 多层液晶的各向异性
如图18所⽰,传统2D显⽰器每个像素点都会在⼀定⾓度范围内发出
光线,但每个像素点发出的光线都是各向同性的。换句话说,每个像
素点向各个⽅向发出的光线都具有⼀样的亮度和颜⾊。左右眼接收到
同样的图像,不同位置的观看者也接收到同样的图像。2D显⽰器既
不能提供双⽬视差,也不能提供移动视差,因此⼈眼始终只能看⻅⼀
幅2D 图像
https://zhuanlan.zhihu.com/p/48079700 15/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 18. 传统2D显⽰器各向同性光学特性
产⽣各向异性的光线是光场显⽰的关键。将传统的液晶显⽰器多层堆
叠起来可以构造如图19中光场4D模型,待显⽰的物体向各个⽅向发
出的光线都可以被多层液晶重现,从⽽确保多层液晶前不同位置的观
众可以接收到不同的光线,不同位置的观众可以看⻅三维物体的不同
侧⾯。
https://zhuanlan.zhihu.com/p/48079700 16/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 19. 多层液晶光场显⽰原理⽰意图
如图20所⽰,假设背光是均匀的,所有从背光发出并达到第⼀层液
晶的光线的亮度⼀致,多层液晶上不同像素的连线就形成了⼀条不同
亮度和颜⾊的光线。通过不同像素的组合,多层液晶可以在⼀定空间
范围内的任意位置重建出发光点,例如多层液晶之间的点F、多层液
晶之后的点G、多层液晶之前的点H,且重建的发光点可以发出各向
异性的光线。
https://zhuanlan.zhihu.com/p/48079700 17/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
图 20. 多层液晶光场显⽰光线的各向异性
图20中F点的光线、G点的光线和分别由三层液晶上的不同像素组合
产⽣,表⽰为式(4)。类似的,其他光线也可以由多层液晶上像素的
联合调制产⽣。为了实现光线的快速调制,曹煊于2015年开发了基
于GPU的并⾏光场分解算法[45,46]]。
通过上述的分析可知,多层液晶进⾏光线调制时具有⾼度的灵活性,
可以重现发光点处于多层液晶不同位置时的各向异性光线。当⾜够多
的发光点同时被调制产⽣时,就能投射出整个三维物体。如图21所
⽰,待显⽰的三维物体可以设置在多层液晶之前、之后或者中间,从
https://zhuanlan.zhihu.com/p/48079700 18/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
⽽使观看者感觉物体突出于显⽰器之外或者凹陷于显⽰器之内,并且
三维显⽰的“突出感”可以在⼀定范围内调节。
图 21. 多层液晶张量光场显⽰的深度范围⽰意图
张量光场显⽰本质上是利⽤多层液晶进⾏空间复⽤,形成空间光调制
器。该⽅案不会损失视点图像分辨率,但存在⼀个明显的缺点:液晶
和偏振膜的透光率较低,当背光穿过多层液晶后光强损失严重;因此
基于多层液晶的光场显⽰往往亮度比较低。液晶层数越多,光场显⽰
亮度损失越严重。
是由多层OLED屏联合调制后的结果,不满⾜光场4D模型。因此,
多层OLED显⽰屏的堆叠并不能实现张量光场显⽰。
表 1. 传统平⾯显⽰与光场显⽰技术⽅案对比
21(9):11237-47.
https://zhuanlan.zhihu.com/p/48079700 24/25
2020/9/23 Mars说光场(4)— 光场显⽰ - 知乎
[44] http://lcd.zol.com.cn/575/5755898.html?
keyfrom=front
https://zhuanlan.zhihu.com/p/48079700 25/25