第二章 文本.ppt

UCS的代码空间 基本多文种平面(BMP) 辅助平面 专用平面 UCS 的BMP 平 面 UCS的变形显现形式之一UTF-8 为了与原8-bit系统保持向下兼容，UCS还可以采用8位编码，即采用单字节表示ASCII字符，这种可变长编码称为“UTF-8”（UCS Transformation Form – 8） UTF－8（可变长形式编码)， 单字节: ASCII字符（from 20 to 7F） 双字节: Latin等字符（from 80 to 07FF） 三字节: 其它BMP字符 四字节: 其它字符 UTF-8的变换 Unicode Byte1 Byte2 Byte3 Byte4 U+000000-U+00007F 0xxxxxxx U+000080-U+0007FF 110xxxxx 10xxxxxx U+000800-U+00FFFF 1110xxxx 10xxxxxx 10xxxxxx U+010000-U+10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx UCS的变形显现形式之一UTF-16 为了扩大字符集的容量，在UCS文本中还允许插入一些4字节的UCS-4字符. 在BMP平面中保留了2个有1024个位置的块（D800 到 DFFF），这些位置不能用来表示任何符号， 从每一块中各选一个数字所组成的这些数字对，可用来表示多达100万个UCS-4字符。 这种编码方式面向双字节，允许4字节编码，称为“UTF-16”（ UCS Transformation Form – 16 ），这是一种处理效率与存储容量折中的编码方案。 UTF-16的变换 v = 0x064321 v′ = v - 0x10000 = 0x54321 = 0101 0100 0011 0010 0001 vh = 01 0101 0000 // higher 10 bits of v′ vl = 11 0010 0001 // lower 10 bits of v′ w1 = 0xD800 // the resulting 1st word is initialized with the high bits w2 = 0xDC00 // the resulting 2nd word is initialized with the low bits w1 = w1 | vh = 1101 1000 0000 0000 | 01 0101 0000 = 1101 1001 0101 0000 = 0xD950 w2 = w2 | vl = 1101 1100 0000 0000 | 11 0010 0001 = 1101 1111 0010 0001 = 0xDF21 Unicode的应用 Unicode给全世界各个国家和地区使用的每个字符提供了一个唯一的编码 Unicode标准已经被IBM, Microsoft, Apple, HP, Oracle, SAP, Sun, Sybase和其它许多公司所采用，最新的许多软件标准都需要Unicode，例如XML, Java, CORBA 3.0, WML等，许多操作系统、所有最新的浏览器和许多其他产品都支持Unicode。 Unicode标准的出现和采用，是近些年来全球软件技术最重要的发展趋势之一。 UCS/Unicode与汉字编码 ——GB18030-2000 与现有的绝大多数汉字操作系统、中文平台在计算机内码一级兼容，即与国家标准GB 2312信息处理交换码所对应的事实上的内码标准兼容 在字汇上支持UCS/Unicode (GB13000.1-1993)的全部中、日、韩（CJK）统一汉字字符和全部CJK统一汉字扩充A的字符。 同时收录了藏文、蒙文、维吾尔文等主要的少数民族文字，为推进少数民族的信息化奠定了坚实的基础。 该标准由信息产业部和国家质量技术监督局在2000年联合发布的，并在2001年开始执行。 最新标准为2005版 GB18030-2000的编码 采用单字节、双字节和四字节三种方式对字符编码。 GB18030-2000的应用 2001年，微软公司发行的操作系统简体中文版Windows XP遵守了新颁布的国家标准GB18030-2000， 微软的办公软件简体中文版（Office XP）则捆绑了方正集团的大字库，收字达到64000个。 然而，仍有许多中文信息处理软件还没有支持GB18030-2000标准，甚至没有支持GBK规范，对于人名、地名中的昇、昈、昉、镕、珺、喆等看似生僻而实际上并不生僻的字无法处理。 小结1 GB2312-80 (GB12345-90) G