文件编码入门：UTF-8和GB.docVIP

移动比联通强？ 在简体中文Windows系统中： 1.打开记事本，输入“移动”，保存关闭后重新打开，显示的仍然是“移动”两个字。 2.重新新建一个文本文件，输入“联通”，保存关闭后重新打开，显示的就不是“联通”字符了，而是看上去所谓的乱码。 的确，这就是一个编码问题。 编码问题由来 ASCII 字符需要编码，一套编码体系就形成了一个字符集。美国人最开始只创造了一个字符集，也就是ASCII字符集，ASCII字符集，长8位，首位为0。后来欧洲国家发现128个字符不够用，想利用ASCII后128位，128位还是满足不了所有欧洲国家的要求，就对后128个字符进行分片，形成了iso-8859系列字符集，包括iso-8859-1，iso-8859-2等。 GB2312，GBK和GB18030 计算机来到中国后，又催生了GB2312编码标准，GB2312没有包括繁体字，后又扩展成为GBK（GB13000），GBK是GB2312的“超集”。GB2312和GBK编码标准中，存储方法兼容ASCII，汉字占用两个字节。2000年和2005年又发布了GB18030-2000和GB18030-2005编码标准，存储方法中有单字节、双字节和四字节三种方式对字符编码进行存储。平时说的ANSI编码，都是根据不同的国家和地区而不同的标准。在简体中文系统下，ANSI 编码代表 GBK 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。 不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。 Unicode 历史介绍省略数百字。。。 Unicode基于通用字符集（Universal Character Set）的标准来发展，是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符，或者说有1114112个码位。码位就是可以分配给字符的数字。 （UCS-2用两个字节编码， UCS-4用4个字节编码。UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个平面（plane）。每个平面根据第3个字节分为256行 （row），每行有256个码位（cell）。group 0的平面0被称作BMP（Basic Multilingual Plane）。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。每个平面有2^16=65536个码位。） Unicode GBXXX？ Unicode和GBXXX是两套不同的编码标准，字符的码位不相同，如果需要转换，必须要同时知道一个字符在两个编码中的码位。 编码简介 UTF-8 Unicode是编码标准，并没有规定字符的存储方式。UTF-8、UTF-16、UTF-32都是将Unicode标准中的码位转换到具体存储数据的方案。总之，任何一个编码标准和具体的字符存储方案是分离的，只要存储后的编码还能映射到原始的编码标准中的码位。 为什么不直接用Unicode的UCS-2码位来直接当作字符存储的数据编码呢，一是为了考虑和ASCII的兼容性，二是对属于ASCII的字符用Unicode编码太占用空间。UTF-8就是在这样的情况下诞生了。UTF-8只是一种编码的存储方案，从一个字符的UTF-8编码可以找到唯一对应的Unicode码位。 简单介绍下UTF-8，UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下： 　　Unicode编码(16进制) ║　UTF-8 字节流(二进制) 　　000000 - 00007F　 ║　0xxxxxxx 　　000080 - 0007FF ║　110xxxxx 10xxxxxx 　　000800 - 00FFFF　 ║　1110xxxx 10xxxxxx 10xxxxxx 　　010000 - 10FFFF　 ║　11110xxx 10xxxxxx 10xxxxxx 10xxxxxx UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出，4字节模板有21个x，即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。 例：“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间，使用用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是：0110 1100 0100 1001， 用这个比特流依次代替模板中的x，得到：111001