光场相机工作原理详解.docVIP

光场相机 Lytro 的运作原理和运算方法 A Light Field Camera “Lytro”, the Principle and Algorithms 概略 Lytro 以在照片拍摄后，照片的对焦点可以自由变换的相机而被知晓．Lytro 称其为光场相机．成像部分是由图像感应器和微型镜头所构成，并得到入射光束集中的光场．然后从光场再处理成最终的画面，光线集中相当于计算镜头的运作．本文就Lytro的动作原理和画面生成的运算方法进行解释． .1．前言 数码相机是在摄像像素点上形成鲜亮的光像，并把此光像忠实的反应成数码影像的装置。但是光场相机则是采用与数码相机完全不同的原理所被认知。此相机是采用光场（光线空间）得到多条光线，再将光线集合并经过一种图像处理得到最终成像的相机。其代表机能为利用摄影后的后处理，变更相机焦点距离的再对焦机能。 初期的光场相机是用多台相机纵横排列成的相机矩阵的实配．相机矩阵对机能有验证作用，但是没有实用性．另一方面，Ng试做了在成像像素的前面配置微镜头，通过致密的框体集中光线的光场相机．之后，Ng为了将此技术商品化而成立了公司，在2012年开发了Lytro． 本文是根据Ng的论文及实际的分析解析为基础解释Lytro的运作原理，机能，运算方法等． 2. Lytro的影像感应器 图1为Lytro的影像感应器的扩大照片影像感应器是数码相机用的CMOS感应器，内间距为1.4μm，影像感应器上覆盖蜂巢结构的微镜头，微镜头的内间距为14μm。影像感应器3280*3280像素的面积上覆盖330*380个微镜头，一个微镜头的直径大约是10个像素点的长度。 微镜头和保护用玻璃一体成型，CMOS感应器上面有少量空间，保护玻璃上面平坦，底面排列微镜头。保护玻璃和微镜头的厚度约为430μm，另外CMOS表面设置了拜尔型彩色滤膜。 图2显示影响感应器和微镜头的位置关系。其并没有完全对齐，每个相机的框体的倾斜和偏移都不一样。推测其为装配微镜头时的机械原因的误差。 图3显示Lytro获得的原生像素的部分扩大原生像素明显的反映出了微镜头的构造，扩大图片显示了圆形构造内的像素结构直径约为10个像素，一个圆形构造内对应一束光线，圆形周围的像素较暗，此区域的光线获得较为困难。 3. 光场的获得 影像感应器和主镜头来获得光场的示意见图4。在A位置的被摄物由主镜头获取光线，其焦点位置落在微镜头矩阵上，此时，由被摄物发出并到达微镜头的光线，利用在其下方定位的像素记录方向和亮度，一个微镜头所对应的全部像素平均化，生成A位置合焦后的粗略的照片像素。 图4B位置上的灰色点，注意其位置通过的光线为3条，利用不同的微镜头，使光线记录到的像素点上。将这些像素值平均化后，能够生成B焦点上的合焦照片像素。B位置合焦后，A像就会变模糊，利用光场来计算这一现象。 图4上微镜头覆盖的三部分像素，最下方位置的像素追溯到主镜头，到达部分开口1所述范围．然后这些像素所生成的图像，是通过部分开口１的光线所成的像．同样微镜头覆盖的像素，最上方位置所生成的图像，是通过部分开口２的光线所成的像．如此，微镜头覆盖N个像素时，就可以对微镜头所对应的相同位置上的像素进行排列形成N个小图像，由N个部分开口分割主镜头得到N个立体图像群． 4. 光场的映射 从Lytro获取的原始图像的光场到生成最终照片图像的程序叫做光场映射．在此解释一下两种映射方法． 第一种方法，对应映射焦点距离，N个立体图像适度平行移动后，并将其平均化的方法．称其为移动加算法．第二种方法，将获取的光像投射到适当焦点距离的设定图像面上．称其为光线束投影法． 移动加算的映射说明．如3章所述，Lytro可以将捕捉到的光场分解成多个立体的画面群．图5的左侧部分说明其样式．从全部的微镜头相同位置抽取像素后再配列。如此构成的小图像群，是从主镜头不同的部分开口处观察被摄物的图像群  所以，从开口位置到被摄物之间的距离有视差．将这些立体图像群与假想的焦点距离重合，使其只平行移动适当的量．然后将移动后的图像群加算平均化。移动量对应纵深，被摄物由于像的位置重合所以形成锐利的图像，如果不是像就会模糊．另外，实际的相机在合焦前后，不仅是合焦位置有变化，像的大小也多少有变化．再次不考虑此效果． 移动加算映射算法，其单纯的计算成本比较小．但是，由于最终图像的像素数和微镜头的像素数相等，与一般的数码相机摄影后的画面尺寸相比较显得非常小．另外，微镜头和原始图像像素的位置关系由微镜头不同有微小的差异．所以，对于像素再配列来说，像素值需要一个补充差值．其结果就是会导致最终图像的解像度有稍许劣化． 移动加算映射算法，实装是比较容易的，但是最终的解像度不好．为了得到更好的图像所用的光线束投影法，以下进行说明． 图6上部所示，图像感应器和微镜头