JAVA字符编码系列_详细解释.pdf

JAVA字符编码系列一：Unicode,GBK,GB2312,UTF-8概念基础 收藏 这两天抽时间又总结/整理了一下各种编码的实际编码方式，和在Java应用中的使用情况， 在这里记录下来以便日后参考。 为了构成一个完整的对文字编码的认识和深入把握，以便处理在Java开发过程中遇到的各 种问题，特别是乱码问题，我觉得组成一个系列来描述和分析更好一些，包括三篇文章： 第一篇：JAVA字符编码系列一：Unicode,GBK,GB2312,UTF-8概念基础 第二篇：JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换 第三篇：JAVA字符编码系列三：Java应用中的编码问题 第一篇： JAVA 字符编码系列一： Unicode,GBK,GB2312,UTF-8概念基础 Unicode: 制定的编码机制, 要将全世界常用文字都函括进去 在 1.0中是16位编码, 由U+0000到U+FFFF 每个2byte码对应一个字符; 在2.0开始抛弃 了16位限制, 原来的16位作为基本位平面, 另外增加了16个位平面, 相当于20位编码, 编 码范围0到0x10FFFF UCS: ISO制定的ISO10646标准所定义的 UniversalCharacterSet, 采用4byte编码 Unicode与UCS 的关系: ISO与是两个不同的组织, 因此最初制定了不同的标准; 但自从unicode20开始, unicode 采用了与 ISO 10646-1相同的字库和字码,ISO 也承诺ISO10646 将不会给超出 0x10FFFF 的UCS-4编码赋值, 使得两者保持一致 UCS 的编码方式: UCS-2, 与unicode 的2byte编码基本一样 UCS-4,4byte编码, 目前是在UCS-2前加上2个全零的byte UTF:Unicode/UCSTransformationFormat UTF-8,8bit编码,ASCII不作变换, 其他字符做变长编码, 每个字符 1-3byte 通常作为外码 有以下优点: * 与CPU字节顺序无关, 可以在不同平台之间交流 * 容错能力高, 任何一个字节损坏后, 最多只会导致一个编码码位损失, 不会链锁错误(如 GB码错一个字节就会整行乱码) UTF-16, 16bit编码, 是变长码, 大致相当于20位编码, 值在0到0x10FFFF之间, 基本上就 是unicode编码的实现 它是变长码, 与CPU字序有关, 但因为最省空间, 常作为网络传输 的外码 UTF-16是unicode 的preferredencoding UTF-32, 仅使用了unicode范围(0到0x10FFFF)的32位编码, 相当于UCS-4 的子集 UTF与unicode 的关系: Unicode是一个字符集, 可以看作为内码 而UTF 是一种编码方式, 它的出现是因为unicode 不适宜在某些场合直接传输和处理 UTF-16直接就是unicode编码, 没有变换, 但它包含了0x00在编码内, 头256字节码的第一 个byte 都是0x00, 在操作系统(C语言)中有特殊意义, 会引起问题 采用UTF-8 编码对 unicode 的直接编码作些变换可以避免这问题, 并带来一些优点 中国国标编码: GB 13000: 完全等同于ISO 10646-1/Unicode2.1, 今后也将随ISO 10646/Unicode的标准更改 而同步更改 GBK: 对GB2312 的扩充, 以容纳GB2312字符集范围以外的Unicode2.1 的统一汉字部分, 并且增加了部分unicode 中没有的字符 GB 18030-2000: 基于GB 13000, 作为Unicode30的GBK扩展版本, 覆盖了所有unicode编 码, 地位等同于UTF-8,UTF-16, 是一种unicode编码形式 变长编码, 用单字节/双字节/4字 节对字符编码 GB18030 向下兼容GB2312/GBK GB 18030是中国所有非手持/嵌入式计算机系统的强制实施标准 什么是 UCS 和 ISO 10646? 国际标准 ISO 10646 定义了 通用字符集 (UniversalCharacterSet,UCS) UCS 是所有其他 字符集标准的一个超集 它保证与其他字符集是双向兼容的 就是说, 如果你将任何文本字 符串翻译到 UCS格式, 然后再翻译回原编码, 你不会丢失任何信息 UCS 包含了用于表达所有已知语言的字符 不仅包括拉丁语,希腊语, 斯拉夫语,希伯来语, 阿拉伯语,亚