基于人脸识别智能大数据处理系统探究.doc

基于人脸识别智能大数据处理系统探究 　　摘 要：构建一个基于人脸识别的智能大数据处理系统，将图片中提取的人脸数据特征上传到HBase分布式数据库中进行存储，使用Mahout提供的推荐、分类等数据挖掘算法进行数据挖掘，使用Echarts框架将挖掘结果直观显示给用户 关键词：大数据；数据可视化；数据挖掘；数据预处理 1 概述 面对互联网络的海量数据，如何提取有用的信息并进行数据分析和挖掘就显得尤为重要。一般置于商场和公共场所的数字标牌广告机只具有信息显示和信息发布功能，无法了解用户更多行为，运用先进的人脸识别技术和视频智能分析技术提供一套完善的解决方案，能够智能统计和分析用户状态，帮助了解用户的喜好 基于人脸识别技术设计一个对人脸信息进行智能处理的系统，利用人脸识别技术统计商家数字标牌内容的观看人数、观看人的性别、年龄等信息，基于收集的数据利用大数据分析技术辅助产品提供者制定更加精准、人性化的推广方案和内容 2 关键技术简介 2.1 Hadoop分布式数据处理平台 Hadoop是基于MapReduce数据集计算框架对原始的数据集进行处理的平台，可以快速、高效的??海量数据进行快速处理 2.2 HBase分布式数据 HBase是基于Hadoop平台的分布式的开源数据库，是一种基于列存储的、非关系型的数据库 2.3 Mahout数据挖掘工具 Mahout是Apache旗下的一款数据挖掘工具，可以运行在Hadoop平台上对数据进行处理，包含了诸多的挖掘算法，例如：聚类、分类、推荐等，对数据处理提供了极大的便利性 2.4 Echarts数据可视化工具 Echarts商业报表技术是一个纯的JavaScript的图表库，其中包含了诸多的商用图表，例如：折线图、柱状图、散点图、K线图、饼图等等，提供了简洁、直观、生动、可交互的数据可视化图表 2.5 Face++人脸识别技术 Face++人脸识别技术可用于对图片中人脸的检测、微笑分析以及性别、年龄、种族、面部器官等坐标数据的获取 3 系统功能描述 基于人脸识别的大数据智能处理系统首先通过人脸识别技术收集信息，利用大数据处理技术分析用户对内容的喜好，为不同性别、年龄、情绪状态的用户提供更加人性化的内容，在不同时段投放不同内容作出参考依据，为用户带来更好体验同时为投资者带来更丰厚的回报。具体包括人脸识别和数据分析两部分内容 3.1 人脸识别 （1）人脸检测：通过摄像头获取人脸轮廓，提取特征生成特征数据库 （2）表情检测：通过摄像头判断当前人脸是否注视摄像头，可识别睁眼、闭眼、眨眼等动作 （3）姿态检测：通过摄像头判断当前人脸是平视、抬头、低头、左右转头等 3.2 数据分析 通过人脸特征的提取，对其中的信息进行分析，根据统计数据，给出推荐的广告位置和投放时间等信息，为商家提供参考依据 4 系统构建 4.1 系统设计 针对系统的功能描述，构建分布式集群环境，通过图片预处理、数据挖掘以及数据可视化三大核心模块，完成系统的构建 （1）图片预处理 在数据处理前期对图片进行预处理，利用Face++人脸识别技术，提取人脸信息，并将其上传到HBase分布式数据库中进行存储 （2）数据挖掘 使用Mahout开源的数据挖掘框架，进行参数设置后调用推荐、分类算法进行数据挖掘工作，获取挖掘结果，并将其存放到数据库中 （3）数据可视化 从前台获取数据库中存储的挖掘结果，使用Echarts可视化工具进行数据显示 4.2系统实现 （1）人种兴趣图 鼠标放在某一区域时会显示该人种所占的比例，点击下载图标时可将整个图表以图片的形式保存下来 （2）数据分布图 查看每个区域的数据分布情况，直观明了 5 结束语 本系统可以快速的对大量的人脸数据进行处理并提取出有效信息，在数据可视化平台进行数据展示，给用户以直观、生动的数据感受。同时，用户可以对相关结果进行下载、打印等操作 参考文献 [1]董西成.hadoop技术内幕：深入解析YARN架构设计与实现原理[M].北京：机械工业出版社，2013. [2]张霄宏，雒芬，贾宗璞，等.一种适用于HadoopMapReduce环境的数据预取方法[J].西安电子科技大学学报（自然科学版），2014，41（2）. [3]万兵，黄梦醒，段茜.一种基于资源预取的Hadoop作业调度算法[J].计算机应用研究，2014，31（6）. [4]何荣波.MapReduce模型在Hadoop中的性能优化及改进[D].北京：北京化工大学，2011. 作者简介：王海洋，长春工业大学应用技术学院计算