中文信息学报基于统计的网页正文信息抽取方法的研究.pdf

中　文　信　息　学　报 第 18 卷 第 5 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 118 No 15 ( ) 文章编号 :1003 - 0077 2004 05 - 0017 - 06 基于统计的网页正文信息抽取方法的研究① 孙承杰 ,关 　毅 ( 哈尔滨工业大学 计算机学院 ,黑龙江 哈尔滨　150001) 摘要 :为了把自然语言处理技术有效的运用到网页文档中 ,本文提出了一种依靠统计信息 ,从中文新闻类 网页中抽取正文内容的方法。该方法先根据网页中的 HTML 标记把网页表示成一棵树 ,然后利用树中每个 结点包含的中文字符数从中选择包含正文信息的结点。该方法克服了传统的网页内容抽取方法需要针对不 同的数据源构造不同的包装器的缺点 ,具有简单、准确的特点 ,试验表明该方法的抽取准确率可以达到 95 %以 上。采用该方法实现的网页文本抽取工具目前为一个面向旅游领域的问答系统提供语料支持 ,很好的满足了 问答系统的需求。 关键词 :计算机应用 ; 中文信息处理; 网页数据抽取;包装器 中图分类号: TP391 　　　文献标识码 :A A Statistical Approach for Content Extraction from Web Page SUN Cheng2jie , GUAN Yi (Dept . of Computer Science and Technology , Harbin Institute of Technology , Harbin , Heilongjian g 150001 , China) Abstract : This paper proposes a statistical approach for extracting text content from Chinese news web pages in order to effectively apply natural language processing technologies to web page documents. The method uses a tree to repre2 sent a web page according to HTML tags , and then chooses the node which contains text content by using the num2 ber of the Chinese characters in each node of the tree. In comparison with traditional methods , the method neednpt construct different wrappers for different data sources. It is simple , accurate and easy to be implemented. Experi2 mental results show that the extraction precision is higher than 95 %. The method has been adopted to provide web text data for a question answering system of traveling domain. Key words : computer application ; Chinese information processing ; web data extraction ; wrapper 1 　引言 互联网的飞速发展给自然语言处理的研究带来新的机遇和挑战 。把自然语言处理技术应 用到网页处理中 ,对网络中的信息进行深层次的加工处理 ,有效地从浩瀚的信息海洋中挖掘可 以为人所用的各种知识,提取人们所需的信息 , 已成为