中文信息处理中的分词算法与实现.doc

中文信息处理中的分词算法与实现

摘要

随着互联网的快速发展，信息技术渗透到人们生活的方方面面，如何有效地在互联网上获取信息成为越来越重要的问题，中国网民面对的基本是中文信息，因此，自然语言处理技术越来越受到人们的关注，而中文信息的处理在经过研究人员的研究后，目前已涌现了一些较为成熟的分词系统。

本文研究基于词库和贝叶斯方法的中文分词算法，采用主要思想是：选取权威语料库，构建一个分词词库，其中包含词汇、词频、词性数据，其中词汇数据包含名词、动词、量词等词汇类型，再利用Hash表和链表结合的方式存储数据使数据的查询更加高效，结合分词词库中的词汇信息运用贝叶斯概率公式计算各个分词方案的概率，