处理中文相关的信息的方法.pptVIP

ISO/IEC 10646 一个国际标准编号,国际标准化组织（ISO）1993年正式颁布 英文全称：Information technology - Universal Multiple - Octet Coded Character Set,简称UCS 中文全称：信息技术--通用多八位编码字符集，亦称大字符集 宗旨:全球所有文种统一编码 Unicode 英文Universal Code的缩略语 统一编码 是对国际标准ISO/IEC 10646编码的一种称谓 是一个企业联盟集团的名称,由美国的HP、Microsoft、IBM、Apple等几家知名的大型计算机企业所组成,成立该集团的宗旨就是要推进多文种的统一编码 就内容而言，Unicode和ISO/IEC 10646是一致的，并行的 ISO10646/Unicode ISO10646的第0群组第0字面（群和面的值都为00h）称为「基本多语种文字面」（Basic Multi-lingual Plane, BMP），其编码字元与Unicode相同。 ISO10646的BMP和Unicode的编码字符。 ISO/IEC 10646中CJK汉字组成 CJK统一编码汉字（20902） CJK扩充集A(6585) CJK扩充集B(4万--) ISO 10646/Unicode的实现及其重要意义 在全球范围内建立起实时、无障碍的信息交换模式 推动了汉字典籍的数字化 为数字化图书馆的建立铺平了道路 为弘扬汉字文化提供了舞台 Single Binary技术的诞生：同一套基本程序用于多个语言环境的技术 使汉字关联活起来：正-异关联、中-日关联、繁-简关联，正-讹关联以及古今、新旧字形关联 GBK 汉字内码扩展规范，Rules/Specifications defining the extensions of internal codes for Chinese ideograms 为了推进Unicode的实施，同时也是为了向下兼容,由电子部与国家技术监督局联合颁布 在保持GB2312原貌的基础上，将其字汇扩充与ISO 10646中的CJK等量，同时也包容了台湾的工业标准Big5码汉字，此外还为用户留了1894个码位的自定义区 2字节汉字编码 在内码上兼容GB2312-80 在字汇上兼容GB13000/ISO10646 是GB2312向GB13000过渡的中间代码 收录21886个汉字和符号 GB18030-2000 信息交换用汉字编码字符集基本集的扩充 2000-3-17发布 2001年9月作为国家标准强制实施 2000年ISO发布了ISO 10646-1:2000（Unicode 同步定义为Unicode 3.0），主要是增加了称为中日韩统一汉字Extension A的6,582个字符。 GB18030-2000编码标准就在原来的 GB2312-1980 编码标准和 GBK 编码标准的基础上进行扩充，增加了四字节（32位）部分的编码。 整合GBK的汉字后到达了27484个汉字，总编码空间超过150万个码位 GB18030标准采用单字节、双字节和四字节三种方式对字符编码 GBK的替代、超集 GB18030-2000 完全包含CJK(Unihan) Extension A 与GBK完全兼容(code- and character- compatible)的同时，为所有其它Unicode码点提供了空间 定义了4字节编码机制 GB18030-2000码位范围分配表 2字节编码共23940个码位 4字节编码共超过150万个码位 UTF Unicode transformation format UCS transformation format 从Unicode码点到唯一字节序列的映射算法，一一映射，保证无损转换 UTF-16 UTF-8 UTF-32 本 章 结 束 第五章 中文信息处理 汉字信息的表示 5.2 中文信息在计算机内的表示 在计算机内表示中文信息的最早在IBM、富士通、日立等计算机生产厂家的计算机中开始，但采用的编码形式互不兼容。 为了能使汉字能够在计算机中通行，国际标准组织（ISO）、国际电子电气工程师协会（IEEE）以及各个使用汉字的国家和地区，在计算机技术发展中，都制定了各种各样的汉字编码字符集。 ISO/IEC 2022定义了七位代码和八位代码的空间及其代码空间扩充的技术。 绝大多数计算机系统所采用的字符集，都是以ISO/IEC 2022为基础的。 一般汉字在计算机内部的表示都是通过扩充编码长度实现的。 汉字的几种通行名称 Hanzi,Hantsu,汉字 Ideographic character,表意字符，中文字符 Kanji-日文中的叫法 Hanja-