RGBD相机模型与图片处理.docxVIP

图像

灰度图

灰度是描述灰度图像内容的最直接的视觉特征。它指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0，故黑白图像也称灰度图像。灰度图像矩阵元素的取值通常为[0,255]，因此其数据类型一般为8位无符号整数，这就是人们通常所说的256级灰度。

灰度图：一个像素的灰度可以用8位整数记录，也就是一个0~255的值。

深度图

当我们要记录的信息更多时，一个字节就不够了。

在RGB-D相机的深度图中，记录了各个像素与相机之间的距离。这个距离通常是以毫米为单位，而RGB-D相机的量程通常在十几米左右，超过了255。

人们会采用16位整数（C++中的unsignedshort）来记录深度图的信息，也就是位于0~65535的值。换算成米的话，最大可以表示65米，足够RGB-D相机使用了。

彩色图

彩色图像的表示则需要通道（channel）的概念。在计算机中，我们用红色、绿色和蓝色这三种颜色的组合来表达任意一种色彩。于是对于每一个像素，就要记录其R、G、B三个数值，每一个数值就称为一个通道。例如，最常见的彩色图像有三个通道，每个通道都由8位整数表示。在这种规定下，一个像素占据24位空间。

通道的数量、顺序都是可以自由定义的。在OpenCV的彩色图像中，通道的默认顺序是B、G、R。也就是说，当我们得到一个24位的像素时，前8位表示蓝色数值，中间8位为绿色，最后8位为红色。同理，亦可使用R、G、B的顺序表示一个彩色图。如果还想表达图像的透明度，就使用R、G、B、A四个通道。

RGB彩色图与灰度图之间的转换

彩色图像转换为灰度图像时，需要计算图像中每个像素有效的亮度值，其计算公式为：

Y=0.299R+0.578G+0.114B

双目相机通过视差来计算深度。RGBD相机则可以主动测量每个像素的深度。

通过红外结构光（StructuredLight）来测量像素距离的。例子有Kinect1代、ProjectTango1代、IntelRealSense等。

通过飞行时间法（Time-of-flight，ToF）原理测量像素距离的。例子有Kinect2代和一些现有的ToF传感器等。

RGBD相机原理图

深度图的保存

那么如何从RGBD相机提取像素的深度信息呢？

下面是一个简单的小程序,可以显示像素的深度信息。

ConvertTo()函数

需要注意,其中的ConvertTo函数作用如下:

img:图像数据来源，其类型为Mat。

注意:不是所有格式的Mat型数据都能被使用保存为图片，目前OpenCV主要只支持单通道和3通道的图像，并且此时要求其深度为8bit和16bit无符号(即CV_16U)，所以其他一些数据类型是不支持的，比如说float型等。如果Mat类型数据的深度和通道数不满足上面的要求，则需要使用convertTo()函数和cvtColor()函数来进行转换。

convertTo()函数负责转换数据类型不同的Mat，即可以将类似float型的Mat转换到imwrite()函数能够接受的类型。

而cvtColor()函数是负责转换不同通道的Mat，因为该函数的第4个参数就可以设置目的Mat数据的通道数（只是我们一般没有用到它，一般情况下这个函数是用来进行色彩空间转换的）。

另外也可以不用imwrite()函数来存图片数据，可以直接用通用的XMLIO接口函数将数据存在XML或者YXML中。

具体含义,缩放并转换到另外一种数据类型：

dst：目的矩阵；

type：需要的输出矩阵类型，或者更明确的，是输出矩阵的深度，如果是负值（常用-1）则输出矩阵和输入矩阵类型相同；

scale:比例因子；

shift：将输入数组元素按比例缩放后添加的值；

dst(i)=src(i)xscale+(shift,shift,...)