光场相机可以计算光线的方向,也可以计算目标的深度_相机感光器在哪里

博主最近在搞光场相机方面的研究啦，好了废话不多说，开始！

1. 一些前言废话

首先，来一下光场的基本概念，来自百度百科。光场（light field）：就是指光在每一个方向通过每一个点的光量。从概念里，你至少可以得到两点信息：1.光场包含光的方向；2.光场包含一个点的光量。

那光场相机是个什么东西，和我们平常的相机有什么区别呢？

其实光场相机也是一个相机。。好吧有点儿啰嗦。我们知道普通的相机拍照成像，得到的离散的像素点，每一个像素都会有其像素值，那么这个像素值反应的就是光场中某一点的光量，仅此而已，我们不能够从图像中得到打到这个像素点位置的光线是从哪个方向来的，所以，普通的相机只能够得到光场中的光量信息，丢失了方向信息。

而牛逼哄哄的光场相机则不同，不仅能够记录光场的光量信息，也能记录光场中光的方向信息，也就是说它能够记录摄像机内部的整个光场！

光场相机长什么模样，以著名的Lytro公司的光场相机为例，它们就是下面的模样，左图为第一代产品，名为 Lytro F01，(丑爆了)。右图为第二代产品,名为Lytro Illum (还将就).

当然还有著名的工业级光场相机 RayTrix，德国的企业，就不多说了。

Lytro公司是斯坦福大学的吴义仁（Ren Ng）博士毕业后创办的公司，是世界上首款消费级别的光场相机，还是挺厉害的。他的博士毕业论文名为《Digital Light Field Photography》获得了2006年美国计算机协会(ACM)博士论文大奖。（据说现在已经从公司辞职回到学校教学去了。。。）

那光场相机能够记录整个光场又能怎么样呢?好，这就是卖点了，该相机能够实现先拍照后对焦。你没看错，就是这样，在拍完照了，你想重新对焦到图像中哪一个位置，就能通过点击图像得到该位置清晰的图片，放两张Ren Ng论文里《Light field photography with a hand-held plenoptic camera》的图片，对焦平面由近及远，是不是蛮神奇的，消费者不用担心拍到的图片没有聚焦到理想的位置，可以通过后期相机内部对光场的处理实现重聚焦作用(refocus)。

2. 少说废话

如果能够吊起你的胃口，那说明你还比较感兴趣。说重聚焦之前，我们需要先了解一下光场的参数化表征，就是说如何把抽象的光场参数化表示出来。当然，这些不是我研究的，都是一些大牛们做过的事情，想看原论文的可以根据下面提到的作者，年份等去谷歌学术一下。如果想快速掌握就看中文的文献就够了，因为研究的同胞们还是很多的，如下，当然Ren Ng的原著期刊论文也必须要看一看：

①周志良. 光场成像技术研究[J]. 博士学位论文. 合肥: 中国科学技术大学, 2012.

②聂云峰, 相里斌, 周志良. 光场成像技术进展[J]. 中国科学院大学学报, 2011, 28(5): 563-572.

③Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11.

光场概念最早由A.Gershun在1936年提出，用于描述光在三维空间中的辐射传输特性。1991年，E.Adelson和J.Bergen根据人眼对外部光线的视觉感知，提出用7维函数来表征空间分布的几何光线，称为全光函数(Plenoptic Function)

。如果只考虑光线在自由空间的传输，其波长一般不会发生变化，则任一时刻的光线可由5维坐标表示

。更进一步，忽略光线在传输过程中的衰减，M.levory和P.Hanraham将5维的全光函数降至4维，提出用两个相互平行的平面对四维光场进行参数化表示。

如下图所示，

表示光场的一个采样，L表示光线的强度，(u, v)和(s, t)分别为光线与两个平面的交点坐标。在四维坐标空间中，一条光线对应光场的一个采样点。现实中大部分成像系统中都可以简化为相互平行的两个平面，比如传统成像系统中的镜头光瞳面和探测器像面，如果用传感器像面中的坐标(x,y)表示光线的分布位置，那么镜头光瞳面坐标(u,v)就反应了光线的传输方向。