字符集与UNICODE完整版.pdf

字符集与 UNICODE 字符集与 UNICODE 第 1 页第 1 页 字符集与 UNICODE 目录 1 案例描述2 2 字符集概念2 3 各种字符集介绍3 3.1 ASCII 3 3.2 ISO/IEC 8859-13 3.3 GB23123 3.4 GBK4 3.5 BIG5 4 3.6 Unicode5 3.6.1 Unicode 的编码实现6 4 字符相关的问题理解8 4.1 如何知道字符串的编码方案8 4.2 COM 的接口为什么要使用BSTR 8 4.3 各种区域编码之间如何转化 8 4.4 字体的字符集 9 5 总结9 第 2 页第 2 页 字符集与 UNICODE 关键词： 字符集 文字编码 乱码 charset ASCII ISO8859-1 GB2312 GB GBK BIG5 Unicode UTF-8 BOM 摘 要： 在调查多语言支持时，涉及到字符编码、字符集(charset)等问题，对 ASCII 、ISO-8859-1 、 ISO-8859-2… 、GB2312、 GB18030、BIG5 、UTF8 这些字符集有一定的了解，但是还是有不少模糊 的东西，所以特意调查学习了下，并总结了这篇文档，供大家学习交流。文档太长，如果知道 “联 通与微软有仇”的原因可以不看。 第 1 页第 1 页 字符集与 UNICODE 1 案例描述 在调查多语言支持时，涉及到字符编码、字符集(charset)等问题，对 ASCII 、ISO-8859-1 、 ISO-8859-2… 、GB2312、 GB18030、BIG5 、UTF8 这些字符集有一定的了解，但是还是有不少模糊 的东西，所以特意调查学习了下，并总结了这篇文档，供大家学习交流。 另外，编程时，字符串是最重要的数据类型之一，编写程序时必须对字符集、字符编码有一定 的了解。 2 字符集概念 以下部分内容加入了我的理解。 什么是字符集：字符(Character)是文字与符号的总称，包括文字、图形符号、数学符号等。计算 机要处理各种字符，就需要将字符和二进制内码对应起来，这种对应关系就是字符编码 （Encoding ）。多个编码组成一个字符编码集合，叫做被编码过的字符集（Charset ）。 字符集的大概发展过程： 最开始美国人开始搞计算机，他们很自私，觉得 127 个字符就可以表示他们用到的字符，就制 定了个ASCII 字符集，1 个字节就可以表示。 后来西方不说英语的发达国家（西欧）不愿意了，他们的一些字符如 “èéó ”没有啊，于是规 范了 0x80~0xff 表示的字符，搞了 ISO-8859-1 字符集，还是 1 个字节，这个字符集对西班牙语、法 语、德语、意大利语等都够用了；但是中欧的国家，如捷克、匈牙利、波兰使用的字符集没有编进 ISO-8859-1 字符集中，这些国家又把 0x80~0xff 表示的字符重新定义了一遍，形成了 ISO-8859-2 。 以后还有ISO-8859-3/4/5… 。显然 ISO-8859-n 他们都