汉字编码的国家技术标准不合理.docVIP

汉字编码的国家技术标准不合理 汉字编码的国家技术标准不合理 -关于汉字之十三 21世纪是信息时代，信息已成为社会发展的重要战略资源，社 会的信息化已成为当今世界发展的潮流和核心。汉字信息交换码是中 文信息处理的基石。 现行的汉字信息交换码的国家技术标准是GB18030-2000,从理 论上讲，它是不合理的，从应用上讲，它是不完备的，因此，它只能 是临时性的国家标准，而不应该成为永久性的国家标准。 笔者关于汉字编码的看法散落在以前的多篇博客文章中，网友们 看起来颇不方便，经补充整理形成本文，对主要观点做一系统介绍。 一 上世纪七十年代，微型电子计算机开始普及，它的一大功能是可 以进行文字处理。计算机内部实际运行的是由0和1构成的字 节流，一种文字只有设计了该种文字的代码(信息交换码)才能被计 算机处理。 美国人发明了电子计算机，并根据英文的特点设计了ANSI码 (American Nationnal Standards Institute美国国家标准化学会)，另一 种说法是ASCII字符(American Standard Code for Information Interchange美国信息交换标准码)。该编码只使用1个字节，具体说 它们仅占用了一个字节的前半区(0到127)。例如，字母a的 码值是97，阿拉伯数字8的码值是56。 世界上有上百种文字，各国人根据国情给自己的文字设计的 信息交换码，都选择尽可能短的码(字节数少)。这些文字编码 单独使用时倒也问题不大，但在一个文件中同时出现多种文字就 会乱套，可能有一码多字，也可能会有一字多码， 因而造成乱码，编码的混乱使得信息无法正确表达。 针对上述问题，国际标准化组织推出了Unicode码(Universal Multiple-Octet Coded Character Set，简记UCS)，有人称之为统 一码。该编码对原来各国的文字编码，一概视而不见。它准 备囊括世界上的所有文字，并给每一个字(或字母)重新统 一分配一个独有的码，做到了字与码的一一对应。 如此一来，即使各种文字都出现在一个文件中，也会秩序井然。 Unicode码规定用二字节表示一个字或字母，即UCS-2， 理论上二字节的编码空间是65536个。用二字节表示不了的字或 字母用四字节表示，即UCS-4，理论上四字节的编码空间是 4294967296个，足以包容世界上的全部文字。 从促进世界各国间信息交流的角度看，Unicode码确有推出 的必要，它建立了国际秩序，给各种文字间的交流提供了一 个公共平台。 Unicode码要顾及全世界的所有文字，还要考虑各种文字之 间的平等，编码效率自然要降低，用户使用效率低的编码要 蒙受经济损失。这就决定了，在某些特定场合Unicode码有独特 优势，有其市场空间，但在很多时候，它又不受欢迎。 ANSI码和Unicode码是目前在世界上占统治地位的两大编码 系统。 世界上不少国家的文字编码采取的是与ANSI码兼容的方 案，我国的汉字编码也是如此。既然与ANSI码兼容，就首先要 保证英文字母的编码及功能不受任何影响，在此前提下再考虑汉 字如何编码，因而，汉字编码也就处于了寄人篱下的状态。 我国的汉字信息交换码的国家标准，先有GB2312-80，后 发展为GB18030-2000，后者与前者兼容。GB18030包括汉字 27000多，其中，2字节编码汉字(一个汉字的码长是2个字节) 21000多，4字节编码汉字(一个汉字的码长是4个字节)6000 多。因受制于人，这些汉字编码的分布是见缝插针式的， 无规律可言，4字节编码尤其复杂。 经过多年应用，暴露出GB18030有三个方面的的缺陷。 缺陷之一，18030码与信息论信源编码的基本原则相背离，汉字 的编码效率难以充分发挥。 18030码中汉字的编码效率与ANSI码中的英文的编码效率相比 较，不算低，这是由汉字的先天条件决定的，请参见陶沙的博客 中的文章汉字比英文效率更高-关于汉字之三。 信息论中，信源编码的基本原则是，使用概率高的字符用短码， 使用概率低的字符用长码，这样总的平均码长才能最短。该原则被理 论和实践证明是正确的。 我们的汉字文章中，偶尔会出现英文字母，也就是说，英文字母 对于中国人而言是使用概率较低的字符。我们的文章中，使用概率高 的字符是的、一、是、在、不、了、有、和、人、这等汉字和逗 号，、句号。等标点符号。这些使用概率高的字符在GB18030 中都是2字节编码(长码)，而使用概率较低的英文字母是1字节编 码(短码)，显然，与信源编码的基本原则是背道而驰的。可以 说，从原理上讲，18030码就是不合理的。因而，GB18030只能是临 时性的国家标准，而不应该成为永久性的国家标准。 问题的起因，是中国汉字编码要强行