UTF-8编码的详细讲解.docVIP

什么是 UTF-8？ 首先?UCS?和?Unicode?只是分配整数给字符的编码表.?现在存在好几种将一串字符表示为一串字节的方法.?最显而易见的两种方法是将?Unicode?文本存储为?2?个?或?4?个字节序列的串.?这两种方法的正式名称分别为?UCS-2?和?UCS-4.?除非另外指定,?否则大多数的字节都是这样的(Bigendian?convention).?将一个?ASCII?或?Latin-1?的文件转换成?UCS-2?只需简单地在每个?ASCII?字节前插入?0x00.?如果要转换成?UCS-4,?则必须在每个?ASCII?字节前插入三个?0x00.?在?Unix?下使用?UCS-2?(或?UCS-4)?会导致非常严重的问题.?用这些编码的字符串会包含一些特殊的字符,?比如?’\0’?或?’/’,?它们在?文件名和其他?C?库函数参数里都有特别的含义.?另外,?大多数使用?ASCII?文件的?UNIX?下的工具,?如果不进行重大修改是无法读取?16?位的字符的.?基于这些原因,?在文件名,?文本文件,?环境变量等地方,?UCS-2?不适合作为?Unicode?的外部编码.?在?ISO?10646-1?Annex?R?和?RFC?2279?里定义的?UTF-8?编码没有这些问题.?它是在?Unix?风格的操作系统下使用?Unicode?的明显的方法.? UTF-8?and?Unicode?FAQ?by?Markus?Kuhn??中国LINUX论坛翻译小组?xLoneStar[译]?2000年2月??这篇文章说明了在?POSIX?系统?(Linux,Unix)?上使用?Unicode/UTF-8?所需要的信息.?在将来不远的几年里,?Unicode?已经很接近于取代?ASCII?与?Latin-1?编码的位置了.?它不仅允许你处理处理事实上存在于地球上的任何语言文字,?而且提供了一个全面的数学与技术符号集,?因此可以简化科学信息交换.?UTF-8?编码提供了一种简便而向后兼容的方法,?使得那种完全围绕?ASCII?设计的操作系统,?比如?Unix,?也可以使用?Unicode.?UTF-8?就是?Unix,?Linux?已经类似的系统使用?Unicode?的方式.?现在是你了解它的时候了.?什么是?UCS?和?ISO?10646??国际标准?ISO?10646?定义了?通用字符集?(Universal?Character?Set,?UCS).?UCS?是所有其他字符集标准的一个超集.?它保证与其他字符集是双向兼容的.?就是说,?如果你将任何文本字符串翻译到?UCS格式,?然后再翻译回原编码,?你不会丢失任何信息.?UCS?包含了用于表达所有已知语言的字符.?不仅包括拉丁语,希腊语,?斯拉夫语,希伯来语,阿拉伯语,亚美尼亚语和乔治亚语的描述,?还包括中文,?日文和韩文这样的象形文字,?以及?平假名,?片假名,?孟加拉语,?旁遮普语果鲁穆奇字符(Gurmukhi),?泰米尔语,?印.埃纳德语(Kannada),?Malayalam,?泰国语,?老挝语,?汉语拼音(Bopomofo),?Hangul,?Devangari,?Gujarati,?Oriya,?Telugu?以及其他数也数不清的语.?对于还没有加入的语言,?由于正在研究怎样在计算机中最好地编码它们,?因而最终它们都将被加入.?这些语言包括?Tibetian,?高棉语,?Runic(古代北欧文字),?埃塞俄比亚语,?其他象形文字,?以及各种各样的印-欧语系的语言,?还包括挑选出来的艺术语言比如?Tengwar,?Cirth?和?克林贡语(Klingon).?UCS?还包括大量的图形的,?印刷用的,?数学用的和科学用的符号,?包括所有由?TeX,?Postscript,?MS-DOS，MS-Windows,?Macintosh,?OCR?字体,?以及许多其他字处理和出版系统提供的字符.?ISO?10646?定义了一个?31?位的字符集.?然而,?在这巨大的编码空间中,?迄今为止只分配了前?65534?个码位?(0x0000?到?0xFFFD).?这个?UCS?的?16位子集称为?基本多语言面?(Basic?Multilingual?Plane,?BMP).?将被编码在?16?位?BMP?以外的字符都属于非常特殊的字符(比如象形文字),?且只有专家在历史和科学领域里才会用到它们.?按当前的计划,?将来也许再也不会有字符被分配到从?0x000000?到?0x10FFFF?这个覆盖了超过?100?万个潜在的未来字符的?21?位的编码空间以外去了.?ISO?10646-1?标准第一次发表于?1993?年,?定义了字符集与?BMP?中内容的