基于XPath的广告数据提取研究.pdfVIP

第32卷第2期 江西师范大学学报(自然科学版) V01．32No．2 OF NORMAL 2008年4月 JOURNALJIANGXI IH盯VERSrr丫(NAn『liAI．SCIENCE) Apr．2008 文章编号：1000-5862(2008)02-0153-04 基于XPath的广告数据提取研究 何章鸿，董守斌 (华南理工大学广东省计算机网络重点实验室，广东广州510640) 摘要：针对广告抽取系统的实际需求，该文提出了利用XPath规则从包含多个广告的页面中抽取广告记 录数据的方法．该文主要阐述了广告抽取系统核心模块的实现机制和系统架构．实验结果表明，该方法能 够准确定位页面广告数据块，并且能较好提取块内广告记录信息，具有一定的实用价值． 关键词：信息抽取；XPath；广告数据块；广告记录；包装器 中图分类号：-IP391．4 文献标识码：A 互联网上的信息量一直以几何级数增长，有研究证明，很多信息资源其实难以被流行的搜索引擎索引 到…．这些被“隐藏”的信息往往更加专门化或更具行业参考价值，例如网络广告数据．通过在网络上抓取大 量的广告投放历史记录，再采取科学分类统计方法，可以为网络媒体、广告公司和广告投放者了解自身或竞 争对手的投放趋势和现状做出重要的数据性参考，这既是网络广告行业分析的核心内容，也是网络营销工 作的重要部分． ． HTML是目前Web页面的主要表现形式，其标签擅长形式表现，而缺乏信息含义的表达能力．另外，页面 数据的分散性、页面结构的复杂性及页面信息表现的多样性，使得从web页面中进行数据抽取非常困难[2]2． 并且，在实际的广告搜索系统中，我们统计分析的单位对象往往是嵌套在此类型网页的广告数据块，而非整 Lixto[5J，开源的H】M臁pp一6J等主要根据文档结构，使用人工定义的页面结构规则．SRVE7|，RAPIER[8l， WHISK等主要依赖文本上下文提取信息．针对实际需要，我们采用了基于文档结构的抽取规则．首先，这种 方法能准确定位到所要抽取的数据块位置；其次，不依赖特征Pattern信息，从而不会与其他具有类似特征的 数据块在抽取时产生混淆．其缺点是需要为Web文档建立一棵结构层次树，并且在结构树上需要较复杂的 算法自动生成规则． 信息提取的搜索空间，而且采用XPath作为生成抽取规则，能有效降低复杂度．本文在分析了广告数据块特 点及其与XPath对应关系的基础上，提出了一种基于XPath规则的交互广告数据提取方法，从实际测试效果 来看，数据块抽取正确率和块内信息抽取正确率均达到90％左右，能够较好地满足广告数据精确获取的要求． 1 基于mth的广告信息块提取 1．1广告数据块 一般来说，web页面的广告主要分布在正文区域(如body区域的按钮广告)和非正文区域(如浏览器两 侧边空白栏的对联广告)．通常页面广告(除文字广告)缺乏文本描述信息，只有对广告对应网页源码作分 析，才能获得该广告的相关记录信息．图1是新浪首页某广告的HIML源码片断． 收稿日期：200％12-01 基金项目：国家863计划(2006AA012196)资助项目． 作者简介：何章鸿(19S3-)，男，广东阳江人，硕士研究生，主要从事信息检索、信息抽取等研究． 江西师范大学学报(自然科学版) 2008年 定义1广告数据块(ADBlock)是指在商业媒体网页中 Table 包含着广告的某一网页区域．(以下简称数据块) nt 司rd 定义2广告记录(ADRecord)是指上述具有统计行业意