快准狠！Intel论文揭示自家车牌识别算法LPRNet.PDFVIP

快准狠！Intel论⽂揭示⾃家⻋牌识别 算法:LPRNet 522018年7⽉20 ⽇ (关注52CV——有价值有深度的公众号~) 来⾃⼯业界的最佳实践。 ⻋牌识别是⼀个⽼⽣常谈的话题，在⼯业界已经得到⼴泛应⽤。当深度学 习在各种视觉识别任务上刷新更⾼精度的时候，却常常被认为计算量远⼤ 于传统⽅法。Intel公司俄罗斯IOTG计算机视觉组的⼯程师最近发布了⼀篇 论⽂，揭示了⾃家已经商⽤的⻋牌识别算法，使⽤轻量级深度神经⽹络进 ⾏⻋牌识别，达到快准狠的新⾼度，即速度超快、精度超准、硬件利⽤率 超狠。 本⽂来⾃于论⽂《LPRNet: License Plate Recognition via Deep Neural Networks》。 ⽂章的的第⼀作者已经离开Intel，这篇论⽂是他们17年的⼯作，通过 Linkedin得知，两位作者来⾃Intel收购的Itseez公司，也就是之前维护 OpenCV的俄罗斯公司。 该⽂提出了LPRNet – ⾃动⻋牌识别的end-to-end⽅法，识别之前⽆需进 ⾏初步的字符分割。该⽅法使⽤了深度神经⽹络，能够实时运算，在中国 ⻋牌识别准确度上⾼达95％，速度上在nVIDIA GeForce GTX 1080显卡运 算每个⻋牌3ms，在英特尔酷睿i7-6700K上每个⻋牌1.3ms。LPRNet由轻 量级卷积神经⽹络组成，因此可以端到端的⽅式进⾏训练。论⽂称， LPRNet是第⼀个不使⽤RNN的实时⻋牌识别系统。因为速度快，LPRNet 算法可⽤于⾃动⻋牌识别的嵌⼊式解决⽅案，即使在具有挑战性的中国⻋ 牌上也具有⾼精度。 需要说明的是，LPRNet解决的是识别的问题，⽂中⻋牌检测使⽤的是 LBP-cascade。 LPRNet特性 1.实时、⾼精度、⽀持⻋牌字符变⻓、⽆需字符分割、对不同国家⽀持从 零开始end-to-end的训练； 2.第⼀个不需要使⽤RNN的⾜够轻量级的⽹络，可以运⾏在各种平台，包 括嵌⼊式设备； 3.鲁棒，LPRNet已经应⽤于真实的交通监控场景，事实证明它可以鲁棒地 应对各种困难情况，包括透视变换、镜头畸变带来的成像失真、强光、视 点变换等。 ⻋牌识别的挑战 图像模糊、很差的光线条件、⻋牌数字的变化（⽐如中国和⽇本的⻋牌有 ⼀些特殊字符）、⻋牌变形、天⽓影响（⽐如⾬雪天⽓）、⻋牌上的字符 个数有变化。 空间变换预处理LocNet 这是对检测到的⻋牌形状上的校正，使⽤ Spatial Transformer Layer[1]， 这⼀步是可选的，但⽤上可以使得图像更好得被识别。 LPRNet的基础构建模块 LPRNet的基础⽹络构建模块受启发于SqueezeNet Fire Blocks[2]和 Inception Blocks[3],如下图所示。 特征提取⻣⼲⽹架构 ⻣⼲⽹将原始的RGB图像作为输⼊，计算得到空间分布的丰富特征。为了 利⽤局部字符的上下⽂信息，该⽂使⽤了宽卷积（1×13 kernel）⽽没有使 ⽤LSTM-based RNN。⻣⼲⽹络最终的输出，可以被认为是⼀系列字符的 概率，其⻓度对应于输⼊图像像素宽度。 由于解码器的输出与⽬标字符序列⻓度不同，训练的时候使⽤了CTC Loss[4]，它可以很好的应对不需要字符分割和对⻬的end-to-end训练。 为了进⼀步提⾼性能，使⽤了论⽂[5]中global context嵌⼊。 推理阶段对上述⼀系列字符的概率进⾏解码，使⽤beam search[6],它可 以最⼤化输出序列的总概率。 后过滤（post-filtering）阶段，使⽤⾯向任务的语⾔模型实现作为⽬标国 家⻋牌模板的⼀组集合，后过滤阶段是和beam search 结合⼀起⽤的，获 得通过beam search找到的前N个最可能序列，返回与预定义模板集合最 匹配的第⼀个序列，该模板取决于特定国家的⻋牌规则。 识别实验结果 训练时，使⽤⼀个来⾃监控场景的中国⻋牌的私有库，总共有11696幅经 过LBP级联检测器检测出来的⻋牌，并进⾏了数据增⼴（data augmentation）即随机旋转、平移、缩放，下图报告了上述各种tricks对 识别精度的影响。 最⼤的识别精度增益来⾃于global context （36%），其次是data augmentation （28.6%），STN-based alignment即预处理也带来了显著 提⾼（2.8-5.2%），Beam Search联合post-filtering进⼀步提⾼了0.4- 0.6%. 识别速度 Intel将LPRNe