面向专利文献的中文分词技术的分析-计算机应用技术专业毕业论文.docxVIP

沈阳航空工业学院硕士学位论文摘要 沈阳航空工业学院硕士学位论文 摘要 专利文献是记载和传递各类科技成果的信息载体，是世界上最大的技术信息源。如 何充分地利用如此巨大的信息资源，使专利在科研和专利业务的诸多方面发挥重要作 用，针对该问题，专利信息处理系统应运而生。在中文专利信息处理系统中，专利分词 是一个重要的基础环节，专利检索及专利翻译等应用都需以专利自动分词作为基础。 目前国内汉语自动分词的研究主要集中在新闻语料上，比较成熟且实用的分词系统 针对新闻语料的分词效果很好，然而对专利语料的分词效果却不是很理想。本文针对专 利文献自动分词的困难及专利文献的特点，提出了一种基于统计和规则相结合的分词方 法。该方法充分利用了从大规模语料中获取的全局信息和切分文本的上下文信息，有效 地解决了专利分词中未登录词难以识别问题。实验结果表明，该方法在开放测试下取得 了较好的结果，对未登录词的识别也有很好的效果。 针对监督学习方法需要大规模同源训练语料，及通过调节窗口大小获取词的上下文 信息的不足，本文将大规模语料中的高频稳定的词和切分文本的上下文信息作为辅助特 征，引入到基于条件随机场的分词系统中，从而提出了一种将无监督分词信息融入条件 随机场的分词方法。与当前主流分词方法在专利语料上的对比实验结果显示，该方法解 决了训练语料不足的问题，并从统计上获得了更多关于词的边界信息，使分词的性能提 升了大约7个百分点。 在分析专利中术语构词特点的基础上，针对专利中词组型术语隐含的层次结构，本 文对词组型术语的多层次切分进行了探索性研究。 关键词：中文分词；专利文献；机器学习；上下文信息；条件随机场 沈阳航空工业学院硕士学位论文Abstract 沈阳航空工业学院硕士学位论文 Abstract As the information carrier of recording and transmitting various science and technology productions，patent documents are also the largest technical information sources．For solving the problem that how to use it to make the patents play an important role in many aspects of the research and patent business，patent information processing system emerges．Patent documents word segmentation is an important fundamental part in Chinese patent information processing system，information processing applications such as patent retrieval and patent translation should be based on the patent word segmentation． Now，research on Chinese word segmentation concentrates on news text，the state’of-the-art system can obtain high segmentation result in news text，but not ideal in the patent corpus．Aiming at the characteristics and difficulty of automatic segmentation of the patent documents，this thesis presents an approach for word segmentation based on statistics and rules·This method fully utilizes the global information from a large scale corpus and the context information of the segmenting text，and solves in effect the problem of the unkrlown words difficult to identify in the patent word segmentation．The experimental results indicate that this method achieve