用哈希算法和二分法实现中文词典的快速查找参考文献.pdfVIP

· 16 · ComputerEraNo．9 2014 用哈希算法和二分法实现中文词典的快速查找 火善栋 (重庆三峡学院，重庆 万州 404000) 摘 要：分词词典是汉语 自动分词系统中的一个基本组成部分，其查询速度直接影响到分词系统的处理速度。文章提 出并实现 了一种用哈希算法和二分查找算法相结合的中文单词查找算法，实验显示，该算法-．j-~实现对字符 串的快速查找。 关键词：词典；分词；哈希算法；二分查找算法 中图分类号：TP391 文献标志码：A 文章编号：1006—8228(2014)09—16—02 Fastsearch in Chinese dictionary by Hash algorithm and binary algorithm Huo Shandong (ChongqingThreeGorgesUniversity,Wanzhou,Chongqing4040D China) Abstract：Dictionary of segmenting words is an essentialpart of Chinese automatous segmentation system ．The speed of word processing systems isdirectly related to the querying speed．A Chineseword search algorithm based on Hash algorithm and binary search algorithm isproposed．The experimentsshow thatthe algorithm can quickly find hte characterstring． Key words：dictionary；segment；Hash algorihtm；binary search algorithm 0 引言 外)是连续且惟一的，所以每个汉字区位码所对应的哈希函数 中文分词是 中文信息处理的基础 ，要对中文文本进行分 值也是睢一的，所以该哈希函数不会产生任何冲突现象。 词就很有可能要用到分词词典，因此，如何构建分词词典以及 2汉字内码到区位码 的转换 如何实现对词典的快速查找是影响中文分词效率的一个重要 通常情况下，汉字在计算机内部是以 “内码”的形式存放 因素。 的，每个汉字 “内码”由两个字节组成，可以通过如下公式实现 本文通过分析汉字区位码的特点，将哈希算法和二分查找 汉字 “内码”到区位码的转换： 算法相结合，构建和实现了一个快速查找中文词典的方法，实 qh=cl一160，wh=c2—160 验表明，该算法的查找效率是普通二分查找算法的两倍。 qh为某一个汉字的区码，wh为某一个汉字的位码，c1为某 1汉字区位码分布特点 一 汉字的内码的高字节，c2为某一汉字的低字节。 汉字区位码共收汉字6763个，分成两级，第一级汉字3755 例如汉字 “啊”内码的高字节为176，低字节为161，通过计 个，置于l6区至55区；第二级汉字3008个，置于56区至87区。 算可以得到该汉字的区位码为l6，位码为01，为了便于编程实 通过分析可以发现 ，从位于第l6区的第一个汉字啊(1601)到位 现，可 以通过公式c1100+c2计算得出该汉字的区位码为 于第87区最后一个汉字齄(879