Unicode字符集的历史与发展1剖析.docx

页 PAGE \* MERGEFORMAT14 Unicode字符集的历史与发展 作者 水云青 摘要：本文从Unicode入手，介绍由于通信问题而产生的字符集，以及Unicode的发展情况。介绍各种字符集的及其使用。并适时的介绍一些历史情况，主要讨论字符集在java机C语言环境中的使用，及阐述UTF，ISO 8859-1，ASCII他们之间的关系。会介绍一些乱码知识，总而言之，乱码产生的原因就是编码与解码不一致造成的。 一、概念： 1．BCD码 最初的计算机性能和存储容量都比较差，所以普遍采用4位BCD（Binary Coded Decimal）编码（这个编码出现比计算机还早，最早是用在打孔卡上的）。BCD编码简单点说就是将十进制用二进制表示，如下图所示。 十进制数8421BCD编码00000100012001030011401005010160110701118100091001 2．由ASCII码发展到Unicode BCD编码表示数字还可以，但表示字母或符号就很不好用，需要用多个编码来表示。后来经过演变发展成了ASCII码。ASCII含33（ASCII码范围为：0~31和127）个控制字符， 和95（ASCII码范围32~126）个可显示字符。 ASCII编码存储方式： 0XXXXXXX其中最高位0，其余七位为0或1，可表示的范围为：0 ~ 2^7 = 0 ~ 128 C语言实现打印字符A# include stdio.h int main() { char ch = 65; printf(%c, ch); return 0; } 后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128到255这一页的字符集被称扩展字符集。从此之后，贪婪的人类再没有新的状态可以用了。 等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉, 规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的全角字符，而原来在127号以下的那些就叫半角字符了。 中国人民看到这样很不错，于是就把这种汉字方案叫做 GB2312。GB2312 是对 ASCII 的中文扩展。 但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的代码点找出来老实不客气地用上。 后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。 后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK 扩成了 GB18030。从此之后，中华民族的文化就可以在计算机时代中传承了。 由于世界各地都产生了自己的编码方案，这是给人的沟通带来了巨大麻烦。于是有一个叫做ISO的国际组织开始着手解决这个问题，想用一种规范来表示出所有的语言。于是Unicode就这样产生了。Unicode是内存编码表示方案（是规范），而UTF是如何保存和传输Unicode的方案（是实现）这也是UTF与Unicode的区别。 注意：Unicode字符集有多种编码方式，如UTF-8、UTF-16等；ASCII只有一种；大多数MBCS（包括GB2312）也只有一种。 字符是各种文字和符号的总称，包括各个国家文字、标点符号、图形符号、数字等。字符集是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集有：ASCII字符集、ISO 8859字符集、GB2312字符集、BIG5字符集、GB18030字符集、Uni