基于向量空间模型的网页文本句子对齐方法研究.pdfVIP

第十一届全国人机语音通讯学术会议 基于向量空间模型的网页文本句子对齐方法研究 1 2 3 张贯虹 乌达巴拉 巩政 (1 合肥学院 计算机科学与技术系 网络与智能信息处理重点实验室 安徽合肥 230601; 2 中国科学院合肥物质科学研究院 安徽合肥 230031 ;3 内蒙古大学 计算机学院 内蒙古呼和浩特 010021 ) 摘 要：平行网页文本中除了互为对照的内容，还存在一 association between bilingual words. Once the term weights are 些无关的噪声，因此利用网页结构相似的方法解决平行网 determined, the similarity between sentence vectors is computed via 页中句对齐问题受到一定的限制.通过引入互译词典或同 cosine measure. We evaluated the system on Mongolian–Chinese 类词典的方法可以提高句对齐质量，但是双语词典的规模 language pair, the results indicate that the method is accurate and 是有限的，不能覆盖所有对应的词汇.本文利用基于向量 efficient enough to apply without human intervention. 空间模型提供的相似度计算方法对平行网页文本进行句 Key words: Parallel web page; sentence alignment, vector space model, CHI, Mongolian scripts, Chinese scripts 子对齐.在向量空间模型中，网页文本中的句子为一维空 间中的向量，选取实词作为特征项，利用 CHI 统计量计 句对齐语料对于数据驱动的自然语言处理 算词汇关联度，采用 TF-IDF 算法计算特征项权重，采用 （NLP ）任务是非常有价值且重要的资源，尤其 cosine 距离计算句子向量之间的相似度，解决平行网页文 是机器翻译（MT ）研究和跨语言信息检索（CLIR ） 本句对齐问题.以蒙古文- 中文平行网页为实验对象，设计 领域中.句对齐语料的建设一般借助报纸、书本等 了相关实验.实验结果证实了本文方法的有效性. 资源人工构造. 关键词：平行网页文本；句子对齐；向量空间模型；CHI 随着网络资源的丰富及信息检索技术的发 统计量；蒙古文；中文 展，一些研究者开展了基于 Web 的双语网页获取 中图分类号：TP391 方面的探索，从而构建对齐语料.其中比较典型的 有 STRAND[1]、PTMiner[2,3] 、BITS[4] 、MPDE[5] Sentence alignment for web page tex