基于新闻环境的人物肖像检索.ppt

基于新闻环境的人物肖像检索 作者:王太峰,袁平波,荚济民,俞能海 报告人:荚济民 中国科学技术大学 2006-7-22 主要内容 背景介绍 相关工作 系统框架 实验及应用 总结 一些问题 背景介绍 新闻数量急剧膨胀 各种新闻网站（BBC,CNN) 各种分类（体育，军事） 各种RSS聚合 各种范围（国家大事，地区新闻） Web 2.0 如何提高阅读效率？ 辅以图片等多媒体信息 图片在信息表示上的优势 根据新闻的相关内容，向用户提供图片等多媒体信息，让用户迅速领悟新闻主旨，提高阅读效率，增加阅读兴趣 本文希望从新闻主体－－人物出发，向用户提供人物肖像，达到更好的人机交互的目的 相关工作 图像搜索引擎 Google， MSN，Yahoo 基于内容：WebSeek 本场合不适用 Diogenes 检索一些名人的肖像 本身有一个图片库 家庭影集人物关联系统 根据标注好的样例，检测对应的人物 相关工作 Portrait (CMU) E-mail 阅读 搜寻主页，得到相关图片，检测图像 本文工作 完全根据新闻本身检索新闻人物肖像 不限于少数名人 没有数据库 没有供学习的样例 没有直接的人物所属机构，主页，邮件信息 充分利用现有搜索资源 系统描述 系统步骤框图 人名及关键字提取 命名实体识别类别： 实体名，包括人名、地名、机构名； 时间表达式，包括日期、时间和持续时间 数字表达式,包括钱、度量衡、百分比 识别方法 隐马尔可夫模型（HMM） 最大熵（ME） 条件随机场（CRF） 统计与规则相结合 新闻内容的重要性 由于新闻人物与事件的紧密联系，事件的内容是检索人物肖像的重要环境参数 重名问题 检索结果不相关问题 新闻内容表示 词频统计 TF-IDF 单个词ti 在文档di 中的个数 单个词ti 在所有文档D 中的个数 N 文档总数 图片检索 将提取出的人名提交给搜索引擎 抓取前十页的网页和图片 剔除坏的网页，图片 去除网页标记，提取正文 主题内容匹配 相关度计算 基于改进的VSM的方法 综合考虑内容和命名实体 文档表示 线性组合 获取肖像 肖像检测 内容相关性比较后，很多图片并非人物肖像 人脸检测 基于神经网络的人脸检测方法 获取肖像 实际中只考虑个数，比例 只含有一个人脸 人脸区域占图像比例大于一定的阈值 实验 新闻源 结果评价 对最后检测的top5的图片，主观判断是/不是人物肖像，再对所有结果求和平均 结果 新闻内容检测有效过滤不相关图片 肖像检测有效获取人物肖像 相关实验结果 具体应用 总结 根据新闻本身，检索新闻人物主体的肖像图片，使新闻阅读生动具体，为新闻阅读提供了新思路 综合利用了 现有搜索引擎技术 文档相关性比较 人脸检测 避免了一般系统的不足 问题 每一步都有误差 命名实体抽取 新闻内容相关性 人脸检测 e.g 检索Schmidt 如何综合考虑，达到较满意的效果 系统拓展 不仅是肖像 地点，事件等相关图片 组合这些图片,加上适当的关键字描述，让新闻阅读直观迅速 不仅是新闻 Blog E-mail等 Web2.0时代有广阔的发展空间 谢谢大家! * * D M Bikel, R L Schwartz, R M Weischedel. An algorithm that learns what’s in a name[J]. Machine Learning, 1999, 34(1～3): 211～231. 灰度和彩色 颜色 C 分为[0，1/4]，（1/4-2/4]，(2/4-3/4]，3/4以上四种 比例 R 分为图片中心占50面积的方形区域内和区域外两种 位置 P 分为1个，2个和2个以上三种 个数 N 简化参数 特征 Reference: Neural Network-Based Face Detection, by Henry A. Rowley, Shumeet Baluja, and Takeo Kanade. IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 20, number 1, pages 23-38, January 1998. /NNFaceDetector/ 12 CNN World 15 CNN Sports 20 Sina English 11 BBC Entertainment 15 BBC Sport 13 Yahoo！Entertainment 平均每日提供新闻 RSS种子来源 取100条新闻 包含人名432个 取内容相关前20位的条目 人脸检测top5的图片 Reference: T Wang