ISP（图像信号处理）老生常谈的几个技术难点.docVIP

ISP（图像信号处理）老生常谈的几个技术难点

近月来，中国手机与苹果的“诸神之战”让大家在OPPO的“马里亚纳”、华为的“原色双影像单元”、小米x徕卡联合研发、苹果的“灵动岛”和“4800万像素广角镜头+1200万像素超广角以及长焦镜头”的信息焦虑中眼花缭乱。

原本或许是为了对冲手机系统和APP设计无力感而诞生的拍照功能，现今却成为了众手机厂家除背部设计外为数不多可“卷”的地方，自拍、全景、夜景、小视频等旺盛的需求让这一技术的江湖地位迅速变化，比翻书还快。?对圈内人士而言，这一波变化带来的后摄、双摄、多摄、暗光、防抖、广角、长焦、变焦，也再次将CMOS传感器等图像市场炒热。?对于独立数码相机，镜头/CMOS传感器画幅越大，效果就会越好越专业。但由于手机面积小等局限性，手机摄影与成像对摄像头的依赖性极低，对图像处理技术的依赖性极高，使得手机摄影更充满逻辑上的科技与狠活儿（褒义），背后的功臣按贡献来算，ISP（图像信号处理）确实为CMOS加上了诸多化腐朽为神奇的“海克斯科技“（依然是褒义）。??

CMOS图像传感器的功能简而言之就是把光信息转换成电信号，最后变成一幅人眼可以识别的图像。ISP会再对图像做处理，使其更符合人眼所看到的世界的样子。

CMOS和ISP是紧密合作的关系，一个粗加工，一个精加工，一个前置摄像头拍照，一个十级美颜加滤镜。

CMOS图像传感器相比它的前任CCD图像传感器可以复用更多的通用半导体制造设备，因此生产成本更低。事实上，在将光转换为光信号的过程中，CMOS相较CCD也抑制了更多电噪声。但在有限的物理条件和摄像头规格面前，仅靠吸收光信号的简单转化只能是巧妇难为少米之炊。真正献上神级换头术的，还是ISP。

底层逻辑

扫盲专区

传感器产生的电压波形信号幅度和空间特性都与其所感知的光照有关。为了产生一副数字图像，需要把连续的感知数据转换为数字形式，该过程被称为图像采样和量化。

所以图像处理的基础就是采样（拍摄）、量化（利用RGB或者YUV把像素编码）再将数字放进想要效果的函数模型中进行调试。?底层逻辑搭好了我们再输入专业术语。

一张图让你知道ISP做了多少事

哪些因素让ISP技术越来越受依赖？

1

核心诉求

由于镜头和传感器的物理缺陷以及拍摄环境的多样性，传感器输出的原始数据和人类预期的图像有巨大差异，因此ISP就起到了相当重要的作用。

2

行业诉求

公安需要监控设备提升夜视能力，延长监控有效时间，以获取更多取证信息，提升破案率；

智慧城市需要实时收集和保存高清视频数据，以供城市大脑进行全局分析，利用可靠数据优化调整公共资源；

自动驾驶：前视ADAS需要ISP快速分析远近物体，镜头聚焦在远距离范围内，需要较高的系统灵敏度；后视和环视则需要ISP应用畸变矫正算法和多图像拼合。

一些ISP技术老生常谈

但常谈常新的技术难点：

1

HDR高动态图像融合

动态范围指的是图像亮度最大值与最小值的比例范围，范围越大图像显示的场景细节越多，视觉效果越逼真，越能全面展现自然场景的动态范围细节。具体步骤：采用多张不同曝光度的普通图像来计算实际场景亮度，再用Tone-Mapping压缩合成HDR影像。?形象化地说，就好像上帝手上一杯阳光（过曝照片）、一杯忧郁（曝光不足）、一杯稳重（曝光正常），想造什么性格的人全由比例调配，但是鉴于性格因素的多元化，每样都要来一点才不会走极端。

上帝造人容易，HDR却有如何标定相应曲线、高动态范围图像存储、tone-mapping压缩显示算法、RGB三个独立通道数据量大难合成、迭代算法输出图片质量缺乏稳定性等问题。?

2

图像边缘增强

?灰度是指亮度的明暗程度。图像边缘是图像中灰度值不连续处的合集，边缘像素点蕴含更为丰富的图像信息，边缘识别也就将图片信息从“二进制数字识别”向“编程语言的语义识别”迈进。?找出哪些像素点是边缘的方式非常简单：将一张黑白照片翻转颜色成为一张新的照片后，两张照片小距离错动得到镶边信息并突出其显示效果，边缘增强即完成。也就是掩膜技术。?由于夜间光照不足、大雾、沙尘等影响，捕获图像中突发事件如相机运动、或是场景中目标运动等，都会使采集的图像或是图像序列遭受损失，存在成像模糊、噪声污染及曝光不均等问题，图像增强显得尤为重要。

图像的边缘即明暗程度明显的像素点规则分布排列出一道线，在进行图像灰度分析中呈现明显的直角阶梯感，称为阶跃边缘。与之相较的模糊、噪声污染、曝光不均的模糊边缘，像素明暗的交替会在有限距离内发生，呈现出坡度感，故称为斜坡边缘。

对于边缘区域，根据梯度方向及当前点在斜坡边缘的位置，采用边缘方向均值、边缘梯度方向的高灰度均值和低灰度均值来代替当前像素灰