常用字符集介绍和编码转换原理.docVIP

常用字符集介绍和编码转换原理 目录 1. GB2312编码介绍 1 1.1 基本信息 1 1.2 GB标准 1 1.3 分区表示 1 1.4 字节结构 1 2. 通用字符集UCS 2 2.1 定义 2 2.2 概要 2 2.3 实现级别 2 2.4 与UNICODE的兼容关系 2 3. unicode编码介绍 3 3.1 基本简介 3 3.2 编码实现 3 3.2.1 编码方式 3 3.2.2 实现方式 4 4. UTF-8介绍 4 4.1 基本介绍 4 4.2 编码原理 4 4. 转换原理 6 1. GB2312编码介绍 1.1 基本信息 《信息交换用汉字编码字符集》是由我国国家标准总局1980年发布，1981年5月1日开始实施的一套国家 汉字编码字符集标准，标准号是GB 2312—1980。它是计算机可以识别的编码，适用于汉字处理、汉字通信等系统之间的信息交换。基本集共收入汉字6763个和非汉字图形字符682个。整个字符集分成94个区，每区有94个位。每个区位上只有一个字符，因此可用所在的区和位来对汉字进行编码，称为区位码。 这个码是唯一的，不会有重码字。把换算成十六进制的区位码加上2020H，就得到国标码。国标码加上8080H，就得到常用的计算机机内码。 1995年又颁布了《汉字编码扩展规范》（GBK）。GBK与GB 2312—1980国家标准所对应的内码标准兼容，同时在字汇一级支持ISO/IEC10646—1和GB 13000—1的全部中、日、韩（CJK）汉字，共计20902字。 信息交换用汉字编码字符集和汉字输入编码之间的关系是，根据不同的汉字输入方法，通过必要的设备向计算机输入汉字的编码，计算机接收之后，先转换成信息交换用汉字编码字符，这时计算机就可以识别并进行处理；汉字输出是先把机内码转成汉字编码，再发送到输出设备。 1.2 GB标准 GB2312或GB2312-80是一个简体中文字符集的中国国家标准，全称为《信息交换用汉字编码字符集·基本集》，又称为GB0，由中国国家标准总局发布，1981年5月1日实施。GB2312编码通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。 GB2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时，GB2312收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个全角字符。 GB2312的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆99.75%的使用频率。 对于人名、古汉语等方面出现的罕用字，GB2312不能处理，这导致了后来GBK及GB18030汉字字符集的出现。 1.3 分区表示 GB 2312中对所收汉字进行了“分区”处理，每区含有94个汉字/符号。这种表示方式也称为区位码。 01-09区为特殊符号。 16-55区为一级汉字，按拼音排序。 56-87区为二级汉字，按部首/笔画排序。 10-15区及88-94区则未有编码。 举例来说，“啊”字是GB2312之中的第一个汉字，它的区位码就是1601。 1.4 字节结构 在使用GB2312的程序中，通常采用EUC储存方法，以便兼容于ASCII。浏览器编码表上的“GB2312”，通常都是指“EUC-CN”表示法。 每个汉字及符号以两个字节来表示。第一个字节称为“高位字节”（也称“区字节）”，第二个字节称为“低位字节”（也称“位字节”）。 “高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0)，“低位字节”使用了0xA1-0xFE(把01-94加上 0xA0)。 由于一级汉字从16区起始，汉字区的“高位字节”的范围是0xB0-0xF7，“低位字节”的范围是0xA1-0xFE，占用的码位是 72*94=6768。其中有5个空位是D7FA-D7FE。 例如“啊”字在大多数程序中，会以两个字节，0xB0（第一个字节） 0xA1（第二个字节）储存。区位码=区字节+位字节（与区位码对比：0xB0=0xA0+16,0xA1=0xA0+1）。 2. 通用字符集UCS 2.1 定义 通用字符集（Universal Character Set，UCS）是由ISO制定的ISO 10646（或称ISO/IEC 10646）标准所定义的字符编码方式，采用4字节编码。又称Universal Multiple-Octet Coded Character Set，大陆译为通用多八位编码字符集，台湾译为广用多八位元编码字元集。 2.2 概要 通用字符集是所有包括了其他字符集。它保证了与其他字符集的双向兼容，即，如果你将任何文本字符串翻译到UC