基于DOM树的视频元数据抽取系统.pdfVIP

第 38卷 第 8期 计 算 机 工 程 2012年4月 V0l_38 NO．8 ComputerEngineering April2012 ·开发研究与设计技术 · 文章编号：1000_3428(2012)08_-026__03 文献标识码：A 中圈分类号：TP311 基于DOM 树的视频元数据抽取系统 唐朝伟 ，李 俊 。，苗光胜 ，杜欣慧 (1．重庆大学通信工程学院，重庆 400044；2．中国科学院声学研究所高性能网络实验室，北京 100190) 摘 要：目前多数抽取方法主要针对主题信息块的提取，未深入到各单独信息块。为此，设计一种基于DOM树的视频元数据抽取系统。 通过改进Heritrix的链接过滤功能和URL队列管理策略，结合网页DOM树节点类型，从各单独信息块中抽取网页元数据。实验结果表明， 该系统的网页平均查准率为 95．7％，平均抽取准确率为 98．4％，高于同类系统。 关健词：网络爬虫；信息采集；URL调度；增量更新；DOM树 Ⅵ deoM etadataExtractionSystem Based0nDoM Tree TANG Chao．wei，LIJun，M IAO Guang—sheng，DUXin—hui (1．CollegeofCommunicationEngineering，ChongqingUniversity,Chongqing400044，China； 2．HighPerformanceNetworkLab，InstituteofAcoustics，ChineseAcademyofSciences，Beijing100190，China) [Abstract]Mostoftheextractionmethodsmainlyfocusontheextractionofthesubjectinformationblock，andpaynoattentiononhteindividual infomr ationpiece．A videometadataextractionsystem basedonDOM treeisproposedtosolvethisproblem ．Combiningwiht thenodetypeofWeb DOM tree，itextractshtemetadataofWebpagesthoroughindividualsubjectinformationblockbyimprovingthelinksfilterfunctionsofHeritrix andqueuemanagementstrategyofURL．Experimentalresultsshow thathteaverageprecisionratioofWebpageandtheaverageextractionratioof thesystem are95．7％ and98．4％．greatlyhigherthanthesimilarsystems． [Keywords]Webcrawler；informationcollection；URLschedule；incrementalupdate；DOMtree D0I：10．3969／j．issn．1000—3428．2012．08．085 1 概述 据抽取系统。 伴随在线视频网站及各种P2P下载等内容共享技术的发 2 系统框架设计 展 ，传播的内容类型与传播途径变得丰富而复杂。大量未经 该系统运用模块化的设计思想，利于系统的功能扩展。 审核音像制品通过互联网进行非法传播，因此，带来潜在隐 由Web页面采集模块、信息抽取模块、数据存储模块等3个 患。Web网页是流媒体服务信息发布的主要途径 ，利用网络 模块组成，系统模块框架设计如图 1所示。 爬虫抓取网页，对 Web数据记录实现抽取存储 ，能够有效地