UltraEdit引出的字符编码问题[参考].pdfVIP

UltraEdit 引出的字符编码问题 .txt 曾经拥有的不要忘记；不能得到的更要珍惜；属于自己 的不要放弃；已经失去的留作回忆。 UltraEdit 引出的字符编码问题 (2007-05-24 16:26:25) 转载 最近用 ultraedit 编辑 python 文件，遇到 web 显示中文乱码的问题，后来搜索终于找到了 解决办法，感谢 wewe80 提供的资料，转贴如下： UltraEdit 的问题及其编码 一．关于各种编码文件标记头 各种编码文件开头 UTF-8 以 EF BB BF UTF-16 以 FE FF(big-endian) FF FF(little-endian) UNICODE以 FF FE 一．各种编码对于中文： 各种编码对于中文： ASCII 中文 2 个字节；英文： 1 个字节 UNICODE中文 2 个字节；英文： 2 个字节 UTF-8 中文 3 个字节；英文： 1 个字节 ( 开头有 2 个字节表示长度 ) 二．中国的各种编码表示 ASCII 中国 --D6 D0 B9 FA A--61 UTF-8 中国 --E4 E8 AD E5 9B BD 61 A--61 UNICODE 中国 --FF FE 2D 4E FD 56 A--61 00 三．关于 UltraEdit 的问题 1. 用 UNICODE编辑可以看到， 默认的存储是 ansi 。用记事本的另存为即可看到其真实的存储 格式。 2.UltraEdit 打开 utf-8 会默认的用 UNICODE方式来显示，我们要转化为 ASCII 显示，这样 就能看到真实的 utf 编码了 . 在 ASCII 编辑模式下，会将 utf-8 编码当作 gb2312 来显示。 3. 关于各种转化 . 对于 UNICODE/UTF-8转 UTF-8 （UNICODE编辑），我们可以看到中文字符， 但是却看不到 UTF-8 的 16 进制表示，看到的都是 UNICODE,因为 UltraEdit 会做内部转换。 对于 UNICODE/ASCII/UTF-8-8 转 UTF-8-8 （ASCII 编辑），我们可以看到 UTF-8-8 的真实 16 进制表示，但是却看不到中文字符的正常显示。 4. 关于 中国 a 中国中国（ 6 中文 1 英文） 倘不出问题， 用 ASCII 转 UTF-8-8 （UNICODE编辑），这时在 UNICODE中看到的文字的 16 进制 编码是 UNICODE格式，因为是 UNICODE编辑的。但是保存却是 UTF-8 格式保存的。例如： 中国 a 中国中国 6 中文 1 英文 用 ASCII 转 UTF-8-8(ASCII 编辑 ) 用 UltraEdit 打开选择所有文字看到的是 14 字节，大小却 为 16 字节，因为多了两个字节 FF FE ；保存文件之后看到的却是 19 字节，看样子 UTF-8-8 的 EF BB BF 的标记头并没有存储哦。 四．关于联通在记事本中的错误显示问题 在一些早期的 UTF-8 文件中并不要求一定要用 EF BBBF 的标记头，而是根据 UTF-8-8 的数据 特征来判断。所以出现了联通和联的错误显示，因为将其认为是 UTF-8 格式编码。其检测里 面所有字符是否遵循某种规则，而不仅仅是几个。所以联想就可以被正确识别，因为 想 不 遵循 UTF-8 规则，而“联通”两个字都遵循 UTF-8 规则 . 谈谈 Unicode 编码，简要解释 UCS、UTF、BMP、BOM等名词 这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚 的概念，增进知识，类似于打 RPG游戏的升级。整理这篇文章的动机是两个问题： 问