走近黑科技 分析微软HoloLens全息眼镜.docVIP

走近黑科技 分析微软HoloLens全息眼镜 　　2015年1月22日，微软Windows 10发布会，Windows 10最新预览版的到来没有激起观者的太多兴趣，反而是一个新家伙抢了整个发布会的风头，它是HoloLens，微软最新的“黑科技”。 　　你一定会期待苹果每年的发布会，是吧？谷歌I/O大会应该也能吸引不少人的眼球，甚至小米发布会的吸引力也不小，而微软的发布会在这两年移动互联浪潮下就显得不那么让人期待和兴奋了。但年初Windows 10发布会却收获了观众久违的欢呼和掌声，却不是因为Windows 10。HoloLens，微软发布的全息眼镜，拥有强大的计算能力，能将真实世界与虚拟三维空间合二为一。 　　HoloLens是什么？ 　　简单来说，HoloLens是一款可穿戴式增强现实计算设备，它拥有几个关键要素： 　　●它是增强现实产品，即Augmented Reality（AR），AR技术将计算机生成的图像与真实世界叠加。类似的产品有图像投射到视网膜上的谷歌眼镜，以及叠加在手机摄像头画面上的手机AR应用。 　　●它拥有独立的计算单元，自带CPU、GPU和HPU，不需要外接任何设备。它的CPU和GPU是基于英特尔14nm工艺的Cherry Trail芯片，HPU则是微软发明的缩写，全称是Holographic Processing Unit，即全息处理单元。HPU是一块ASIC（Application-Specific Integrated Circuit），是微软为HoloLens定制的集成电路，不得不说，微软的这个举动真是“有钱任性”。 　　说到这里，你是不是想到了十多年前经典的科幻电影《黑客帝国》？里面的现实世界是由一个名叫“Matrix”的计算机人工智能系统控制，人们都活在虚拟世界当中。不过，HoloLens和Matrix可不一样。Matrix是虚拟现实（Virtual Reality，简称VR）。VR的特点是让参与者置身于计算机生成的三维图像世界中，淡化真实的世界。VR近期的代表产品是Oculus Rift，戴上Rift后你是看不到真实世界的。VR最大的问题是：这个虚拟世界很真实、很精彩，但是有什么用呢？也就是说VR只能做到更逼真的三维世界，它无法帮助人们更好地理解真实世界。 　　那么谷歌眼镜呢？HoloLems是不是和它更像。没错，但HoloLens不等于谷歌眼镜，它比后者多了这些： 　　●三维感知能力，可以对身边的三维场景进行建模。而谷歌眼镜只能看到RGB像素值。 　　●三维渲染能力。 　　●人机交互能力，HoloLens可以用手势进行控制。 　　其实AR离我们并不遥远，甚至很多人应该都接触过。常见的AR应用是基于摄像头的，包括了基于黑白标记图片的AR以及基于任意图片的AR，最近在朋友圈中很火的3D小熊就是基于AR的应用。但是这些应用只能检测到图片所在的那个平面。HoloLens比它们都牛，它能检测到各个角度的三维场景！ 　　HoloLens背后的技术 　　简单地说明了HoloLens到底是怎样的一个产品，你是不是更好奇在HoloLens背后是哪些技术支撑起了这些酷炫的体验？下面我们就来一一解读。 　　如何得到三维场景深度信息 　　让我们回到AR的定义，想要实现增强现实，必须先理解现实，那么对于HoloLens而言现实是什么呢？是传感器的数据。HoloLens上的传感器是什么？是摄像头。同样是摄像头，为什么HoloLens就可以感知深度呢？微软Kinect在这方面很成功，那么是不是HoloLens上放了一台嵌入式的Kinect呢？答案自然在HoloLens中。从HoloLens的官方图片中我们可以看到它拥有四个摄像头，左右两边各两个。通过对这四个摄像头的实时画面进行分析，HoloLens可覆盖的水平视角和垂直视角都达到120°。也就是说它采用的是立体视觉技术（Stereo Vision）来获取事物的深度图（Depth Map）。立体视觉是计算机视觉学科的一个子学科，专注于从两个摄像头的图像数据中得到真实场景中物体离摄像头的距离。下面，我们来看看摄像头是如何获取深度图的（查阅OpenCV文档可以了解具体函数的用法，地址：http：///modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html），其基本步骤如下： 　　1、摄像头校正（Undistortion）。由于摄像头的镜片出厂时都存在扭曲，为了得到精确的数据需要在使用前进行校正。常用的方法是基于棋盘的各个姿态拍几次，然后计算相机的矩阵参数。 　　2、图像对齐（Rectification）。因为两个摄像头的位置不同，因此它们各自看到的场景是有偏差的，