中文的同形异码字问题.PDF

第 卷 第 期 中文信息学报 ， ２９ ４ Ｖｏｌ．２９ Ｎｏ．４ 　 年 月 ， ２０１５ ７ ＪＯＵＲＮＡＬＯＦ ＣＨＩＮＥＳＥＩＮＦＯＲＭＡＴＩＯＮＰＲＯＣＥＳＳＩＮＧ Ｊｕｌ．２０１５ 　 　 　 　 文章编号： （ ） １００３００７７２０１５０４０１４４０７ － － － 中文的同形异码字问题 张小衡 （ ， ） 香港理工大学中文及双语学系 香港 ： ， ， 摘 要 同一个字符拥有不同的计算机内部代码 这意味着有两个或两个以上字形在人的眼中是同一个字 而计算 　 。 “ ” ， ， ， 机却认为是不同的字 这种 人机看法不一致 会给语言信息处理带来混乱 导致信息检索不全 统计数字不准 字 。 ， （） 词分类排序不一致等情况 该文结合 Ｕｎｉｃｏｄｅ实例专题讨论当前计算机上存在的中文同形异码字问题 包括 ａ 私人造字公有化所形成的同形异码字，（）兼容编码所形成的同形异码字，（）建立专门的笔画部首表而形成的同 ｂ ｃ ，（） ， 。 形异码字 ｄ 半宽和全宽字形分别编码而造成的同形异码字等 并探讨解决问题的方法 ： ； ； 关键词 中文字符 同形异码 Ｕｎｉｃｏｄｅ 中图分类号： 文献标识码： ＴＰ３９１ Ａ 　　　　 Ｄｕ ｌｉｃａｔｅＥｎｃｏｄｉｎ ｏｆＣｈｉｎｅｓｅＣｈａｒａｃｔｅｒｓ ｐ 　 ｇ 　 　 　 ＺＨＡＮＧＸｉａｏｈｅｎ 　 ｇ （ ， ， ， ） Ｄｅ ｔ．ｏｆＣｈｉｎｅｓｅ＆ Ｂｉｌｉｎ ｕａｌＳｔｕｄｉｅｓ Ｈｏｎ Ｋｏｎ ＰｏｌｔｅｃｈｎｉｃＵｎｉｖｅｒｓｉｔ Ｈｏｎ Ｋｏｎ Ｃｈｉｎａ ｐ 　 　 ｇ 　 ｇ ｇ ｙ 　 ｙ ｇ ｇ 　 　 　 ： Ａｂｓｔｒａｃｔ Ａ ｄｕ ｌｉｃａｔｅｅｎｃｏｄｅｄｃｈａｒａｃｔｅｒｉｓａ