利用CNN实现无网络化的智能图像处理.pptx

利用CNN实现无网络化的智能图像处理汇报人简介：***科技领域专家，工程师拍照搜索机器?学习? “你好”f ??? ? “猫”f ?f ? “嗨！” ? ? “你好”全链接前向传播0.980.6 24210.86 31- 10.12 - 2- 1- 2- 1-210- 10.83- 20.1-11002-14110.62-10.83“猫”识别过程? ? “?”f ?InputOutput向量量 概率输出y0.05is 00.62x 1x 2The image is “2”y 20.830.8is 2………………x 256y 100.1...is 1016 x 16 = 256Ink → 1No ink → 0训练过程? ? “?”f ?1NNy112NNy223NNy33……………………??NNyR??移动端和Server分?工? 客户端训练 + 客户端识别? 服务端训练 + 识别? 服务端训练 + 客户端识别移动端只适合识别过程Model FilePC Server 训练模型?文件移动端加载模型进?行行识别卷积和池化1-1-1-11-1-1-11-11-1-11-1-11-11 0 0 0 0 10 1 0 0 1 00 0 1 1 0 01 0 0 0 1 00 1 0 0 1 00 0 1 0 1 0两个卷积核Only 9 x 2 =18parameters原图最?池化卷积神经?网络cat or dogx y w hConvolutionMax PoolingRepeat many timesFully Connected Feedforward networkConvolutionMax PoolingFlattenGoogLeNet v1卷积池化 归?一化分类和框选 - 权值共享CatIOS落地难点? 内存：服务端限制不严格 - 移动端的内存有限? 耗电量：服务端不限制 - 移动端严格限制? 图搜插件增量??：?百移动端不能超过100K? 模型??：常规模型体积 500M起移动端不能超过10M? 加密问题：服务端平台?需考虑模型泄露问题为什什么选择移植Caffe? 可读性? 通?性? 图像领域应?已久? 移植成功案例精简caffeBlobInnerProductLay erReLUMaxPoolingAveragePoolingCrossChannelLRNConvolutionLayerConcatNet?blas : openblas切到cblasglog : handwritinggflag : simplificationprotobuf : handwritingBackpropagation : cut37MB - 100k?写 + 精简drop + 精简模型量量化? 粗分类+单框选，模型体积24.2MBGooLeNet v1模型的参数为float 32bit，图 搜以8bit来存储参数。再次减?为6.4MB? 压缩后6.4 - 4.5MB? 模型体积缩?后内存也因此减?24.2 - 4.5MB精度问题? 量化过程中将float直接强转为uint会导致参数整体偏?，结果也会偏?，所 以在转换过程中，需要加?随机分桶操作。? 例如：对于参数2.3，让其70%的概率转换成2，30%的概率转换成3。耗电量量? 在移动客户端运?神经?络耗电量巨?，采?以下策略：– ?户?机达到稳定后?段时间开始识别– 通过选取合适的识别间隔陀螺仪加速计IOS最终效果? 模型4.5MBiphone 6s速度170ms耗电低level? 准确率90%Android硬件? CPU ：?通 (三星、联发科、华为)GPU ：Mali GPU? CPU?槛1：骁?600以上? GPU?槛2：Mali T820 4核以上CPU 98.1% 是ARMv7GPU ARM: 51.3% Qualcomm: 39.2%??Android深度学习软件现状application ui主体识别...分类?风格化compute libOpenCLRender ScriptVulkanARMComputeLibrarykernel spaceOS KernelDevice Driverhardware?高通cpuOther cpuMali GPU?高通GPUAndroid 运算库Render Script - 坑多，速度不稳定Open CL - 表现较好? Vulkan - 计算前景不明朗，?持版本太少ARMComputeLibrary - 未来看好与ARM协作ARMComputeLibrary 3?底开源? 4?初和arm团队深?沟通? 相互提供建议? 5?初由于数据结构和?络现阶段?持不?够，百度独