第2章 Windows字符集.docxVIP

版本控制页版本控制表序号版本号版本性质创建时间建议人修订人修改日期修改内容简述备注V0.00初稿10.25.2007张立铜 一审刘新华 二审郑砚一校孔祥萍二校2009.1.4赵元Windows字符集本章主要内容： 字符集字符数据类型Windows程序和宽字节字符集多字节字符和宽字节字符的相互转化本章重点： ASCII和UNICODE编码方式 字符数据类型的使用Windows中的UNICODE 多字节字符和宽字节字符的相互转化本章难点： UNICODE编码方式字符数据类型的使用多字节字符和宽字节字符的相互转化学完本章您将能够： 了解字符集合的发展过程了解UTF-8、GB2312等字符集灵活运用UNICODE掌握多字节字符和宽字节字符的相互转化引言随着Microsoft公司的Windows操作系统在全世界广泛的应用，对于软件开发人员来说，将目标瞄准国际上的各个不同市场，已经成为一个越来越重要的问题。但是，由于各国使用的语言系统千差万别，英语版本和国际版本的同步推出受到极大的制约。之所以遭到制约，主要由于多年以来计算机系统一直使用单字节编码的英文字符集。单字节编码最多只能提供256个符号编码，这对于那些特别的语言系统的符号（例如中文的汉字）显然是不够的。为了解决单字节字符集和语言系统符号的冲突问题，重新编码的字符集被发明并应用到计算机系统中。本章将重点讲述这些字符集在Windows操作系统中的应用。字符集字符集简史人类拥有6000年左右的书写史，最早出现的文字符号是象形文字，对应于发声的文字则出现于大约3000年前。人类通过发音来代表书写语言已经可以满足交流的需要，但随着科技的进步，更多的方法被发明。譬如电报上用的莫尔斯密码，使用一系列短的和长的脉冲来代表字母表中的每个字符。莫尔斯密码是一种不以其他图画或印刷的象形文字来代表书写语言的例子。和莫尔斯密码类似，计算机通过不同的数字编码来代表书写语言，这就是计算机使用的字符集。早期计算机的字符集是从Hollerith卡片（一种不能被折叠、卷曲或毁伤的卡片）发展而来的，该卡片由Herman Hollerith发明并首次在1890年的美国人口普查中使用。6位字符编码系统BCDIC（Binary-Coded Decimal Interchange Code：二进位编码十进位交换编码）源自Hollerith代码，在60年代逐步扩展为8位EBCDIC，一直作为IBM大型主机的字符集标准使用。50年代后期，美国资讯交换标准码（ASCII：American Standard Code for Information Interchange）开始使用。ASCII编码中包括了26个小写字母、26个大写字母、10个数字、32个符号、33个代号和一个空格，总共128个字符。ASCII现在被记录在ANSI X3.4-1986字符集中，由美国国家标准协会（American National Standards Institute）发布。ASCII有许多优点。例如，26个字母编码是连续的（在EBCDIC代码中不是这样），大写字母和小写字母可通过改变一个进制位而相互转化，10个数字的编码可从数值本身方便地得到（在BCDIC代码中，字符「0」的编码在字符「9」的后面）。到ASCII为止，计算机领域一直使用256个字符的字符集。但中国、日本和韩国的象形文字符号有大约21，000个。为了容纳这些语言并保持和ASCII的某种兼容性，双字节字符集（DBCS：double-byte character set）开始使用。DBCS最初的128个编码和ASCII一样，其后的128个编码中的某些编码总是跟随着第二个字节编码，然后这两个字节的编码组合在一起（称作首字节和跟随字节）定义一个字符，通常是一个复杂的象形文字。虽然中文、日文和韩文共用一些相同的象形文字，但3种语言是不同的，而且经常是同一个象形文字在3种不同的语言中代表3件不同的事。Windows支持4个不同的双字节字符集：内码表932（日文）、936（简体中文）、949（韩语）和950（繁体汉字）。只有为这些国家（地区）生产的Windows版本才支持DBCS。虽然双字节字符集很好地解决了计算机编码的国际化问题，但是一些字符（特别是ASCII字符）由一个字节的编码表示，一些字符由两个字节的编码表示，这会引起附加程序设计上的困难。例如，字符串占用空间的大小不能由字符串的字符个数简单决定，必须剖析字符串的每个字符的编码来决定其长度，而且必须检查每个字符以确定它是否为双字节字符的首字节编码。如果有一个指向DBCS字串中间的指针，那么该指针前一个字符的地址是多少？惯用的解决方案是从字符串的开始分析该字符串。现在面临的基本问题是世界上的书写语言不能简单地用256个8位代码表示。以前的解决