方正超大字库解决方案.docx

方正超大字库解决方案 方正超大字库解决方案 ■关于汉字和汉字编码 殷商出土的甲骨文可视为中国文字的渊源，历经几千年的历史演变，汉字无论是在字形、字体，还是数量方面都发生了很大变化，从下面一组数据就可以看出汉字在数量方面的演变。 《说文解字》 ( 公元 100 年) 收 9353 字；《声类》 (227-239 年) 收 11520 字；《玉篇》 (5 43 年) 收 22726 字；《唐韵》 (751 年 ) 收 26194 字；《类篇》 (1066 年 ) 收 31319 字；《字汇》 (1615 年) 收 33179 字；《康熙字典》 (1716 年 ) 收 47035 字；《中华大字典》 (1915 年 ) 收 48000 字；《中文大字典》 (1968 年) 收 49905 字；《汉语大字典》 (1986 年 ) 收 56000 字。 汉字家族在不断增加，从 说文解字 到 汉语大字典 的大约 2000 年的时间里，汉字的数量增加了 5 倍多，而我们常用的 6000 多个汉字仅仅是汉字家庭中的一小部分。到目前为止，国际标准组织 (ISO) 制定国际标准时，共收集到汉字七万多字。 从中文信息处理的角度来看，国家及国际相继颁布了不同的汉字编码标准， 从 GB2132到 GBK，从 GBK到 GB18030，标准收录的汉字从 6763 个增加到现在的 27000 多个，但对于汉字的庞大家族来说，尴尬难以避免。在银行、邮电、保 险、报业、公安等行业，经常会碰到生僻的人名、地名，只能用拼音代替或手工贴图，而古籍整理、辞书出版、光盘出版、地理信息系统等则会遇到很多缺字，补字的工作量很大。其它使用汉字的国家和地区，如日本、韩国、越南、新加坡等，其文化遗产多以汉字的形式保存，随着信息时代的到来，将其转换为电子资料时经常碰到的问题就是：电脑中的汉字不够用。 ■方正超大字库的发展历程 作为中国最早从事中文字库开发的专业厂商，北大方正非常关注中文字库 技术进步和中文印刷字体的发展，积极参与中国国家标准和国际标准化 (ISO) 组织相关标准的制订，如 GB2312-80、GBK、GB18030、ISO/IEC-10646 等。 为了进一步规范汉字的编码，国际标准化 (ISO) 组织对汉字做了扩充，这就是汉字 EXT B，北大方正积极参加了编辑讨论工作。 2000 年 8 月 22 日，公布的 SuperCJK V10.2 共包含 70205 字，也正是最新的方正超大字库的全部内容，即方正超大字库基本包含了中、日、韩、越的主要汉字。 由于汉字来源复杂，按照国家的要求，必须改成现行的写法，方正邀请了多位文字学专家进行指导，对 70205 字进行了新笔形化，同时邀请多位字体设计专家对质量进行把关，保证字形、笔形规范、统一，符合国家语委的标准。 方正宋一超大字库收录了 70244 个汉字， 2 月 16 日通过了新闻出版署、国家语委、全国印刷字体工作委员会的联合审定。与会专家认为，方正超大字库符合国家用字规范和印刷标准，具有良好的通用性、兼容性和一致性，符合国际流行的工业标准。 ■方正超大字库解决方案 1、方正超大字库编码方案 为解决古籍整理、辞书出版中遇到的补字问题，方正超大字库采用 GBK编码，分成三个字库，将汉字扩充到 70244 字，这可以有效地解决出版问题，但在检索时会出现重码。 现在有三个方案： (1) 使用 Unicode 所定义的 surrogate 机制： 双字节和四字节混合编码，四字节部分共可对应到至多一百万个字符 (1M,1024x1024) ，这一百万个字符的容量可以对应到 ISO 10646 定义的 16 个字 面 (plane) ，每一个字面的容量为 64K(64x1024) ， CJK区域的扩展 B 字符集，位于第二个字面 (plane 2) 。 目前微软的 WINDOWS 2000已经支持这个方案。 中国刚发布的 GB18030： 双字节和四字节混合编码，是 GBK的扩充，四字节部分共 1587600 个码位， 也可以对应到 ISO 10646 定义的 16 个字面 (plane) ，还需要软件厂商的支持。 (3)ISO 10646 的四字节编码： 这种四字节编码到现在还没有支持的操作系统。 现在，不同国家和地区还在广泛使用各自不同的汉字编码标准，相同的汉字放在不同的码位，好在 ISO 10646.2 字符集快要出台，包含了大多数汉字，也引起了世界各国的重视，许多国家已经采取步骤向 UCS过渡。相信在不远的将来，使用汉字的人们能使用同一种编码交流，以便增进彼此之间的理解。 2、方正超大字库输出方案 现已面市的方正超大字库，将极大地方便专业辞书和古籍的排印。从字数 上看，它目前包含《汉语大字典》的全部