基于改进AP聚类算法人脸标注技术研究.docVIP

基于改进AP聚类算法的人脸标注技术研究 　　摘要： 利用网络新闻图像以及与图像相关的文字说明构造一个有人名标注的人脸库。人脸库中的人脸通过对新闻图像进行人脸检测得到，人名从与图像相关的文字说明中提取得到。通过一个聚类过程得到人脸与人名之间的对应关系，并通过一个合并聚类的过程可以识别出同一个人的不同名字。对ＡＰ聚类算法进行改进，实验表明相比于ｋ－ｍｅａｎｓ与ＡＰ算法，改进的ＡＰ聚类算法能充分利用网络新闻图文互补的特性，从而得到更准确的人脸与人名对应关系。 　　关键词： 　　中图分类号： ＴＰ３９１．４ 文献标识码：Ａ 文章编号：２０９５－２１６３（２０１１）０１－００３５－０４ 　　 　　０引言 　　现实世界中存在许多图像与文本相关联的数据，网络新闻是一个很典型的例子。在这种图文并茂的数据中，图像与相关联的文本是相互补充的，利用这种图文互补特性可以挖掘很多重要信息。如果能将网络新闻图像中出现的人物用其名字进行标注，就可以将图像检索[１－２]问题转化为文本检索[３]问题，从而可以很好地解决人物检索这一问题。采取手工标注的方法是有效的，但是多媒体和网络技术的迅速发展使得图像库越来越大，完全使用手工标注，工作量太大。网络新闻数据如图１所示，图像右侧是与此图像关联的文字说明。本文的基本任务是对新闻图像中出现的人脸用人名进行标注。 　　虽然人脸识别[４]的研究已经很成熟，但是很难对图１中的人脸进行识别。因为图１中的人脸图像来源于网络，人脸的姿势、表情、光照等情况以及图像采集设备差别很大，比实验室条件下采集的图像数据要复杂很多。而现有的人脸识别系统在实验室环境下性能较好，在真实世界环境中的性能却较差。此时可以利用与图像相关联的文字说明中出现的人名对人脸进行标注，但是从图１可以看出图像中可能出现多个人脸， 与图像相关的文字说明中也可能出现多个人名，并且图像中出现的人脸有可能没有人名与其对应，或者文字说明中出现的人名在图像中却没有人脸与其对应。 　　本文提出了一个可以很好解决此问题的方法。最终得到一个有人名准确标注的人脸图像数据库，对人脸图像的标注如图２所示。 　　对网络新闻数据处理的过程如图３所示。从新闻数据中提取出人脸图像与人名，经处理后，通过一个聚类过程，得到人脸与人名之间的对应关系。 　　Ｔａｍａｒａ Ｌ．Ｂｅｒｇ等人通过基于ｋ－ｍｅａｎｓ聚类的方法[５]得到人脸与人名之间的对应关系。然而基于ｋ－ｍｅａｎｓ聚类的方法在计算图像相似度时，完全根据图像内容信息提取特征进行相似度计算，忽略了与图像相关联的文本信息；同时ｋ－ｍｅａｎｓ聚类需要事先指定聚类个数并且聚类结果受初始聚类中心选择的影响较大。本文对ＡＰ聚类算法进行改进，计算图像相似度时，不仅考虑到图像内容信息，还考虑到与图像相关的文本信息。结合图像内容信息与文本信息能够更准确地给出图像相似度，从而使聚类结果更准确。同时ＡＰ聚类算法将每个样本点都看作是候选的类代表点，且聚类前不需要指定聚类个数。实验证明处理图文并茂的数据时，协同使用图像与文本信息是很重要的，改进的ＡＰ聚类算法在处理此类问题时具有明显的优越性。 　　本文第一部分对从网络上获取的新闻数据进行预处理；第二部分通过改进的ＡＰ算法对人脸图像聚类，并且引入ｋ近邻模型对聚类进行修剪；第三部分将聚类后的人脸图像用人名标注，并通过合并聚类识别出同一个人的不同名字；第四部分对实验结果进行了分析。 　　１新闻数据预处理 　　１．１人脸检测与人名提取 　　本文采用了Ｖｉｏｌａ提出的积分图像的概念和基于Ａｄａｂｏｏｓｔ训练人脸检测分类器[６－８]的方法对网络新闻图像进行人脸检测。通过命名实体识别从与新闻图像相关的文字说明中提取出人名，得到一个人名词典。从新闻图像中检测出的每一个人脸都与若干个从对应的文字说明中提取出的人名有关。本文的任务是用正确的人名对每个人脸标注。 　　１．２人脸图像标准化 　　由于人脸图像来源于网络，其姿势、表情及光照变化较大。在对人脸图像进行特征提取之前，需要进行几何归一化与灰度归一化处理。几何归一化是指根据人脸定位结果，将图像中人脸变换到同一位置和同样大小。灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度上克服光照变化的影响。 　　１．２．１几何归一化 　　人脸部位在图像中的位置、大小、偏移情况不同，会影响人脸特征的提取以及后续的聚类工作，因而要对人脸进行校正，以使不同的人脸图像最后都统一到同样的大小，并使人脸的关键部位在图像中的位置也尽量保持一致。几何校正主要包括：大小校正、平移、旋转和翻转等。在进行人脸校正前，需要进行人脸关键点检测，尤其是人眼的定位。 　　根据垂直灰度投影与水平灰度投影，大体可以确定特征点的位置。确定特征点以后就可以进行几何校正。假定人脸图像左、右两眼