Python解决中文乱码.pdf

Python 中文全攻略 作者：tamsyn 来源： 时间：2007-4-25 【 字体：大 中 小 】 〖 双击滚屏 〗 1. 在 Python 中使用中文 在 Python 中有两种默认的字符串：str 和 unicode。在 Python 中一定要注意区分“Unicode 字符串” 和“unicode 对象”的区别。后面所有的“unicode 字符串”指的都是 python 里的“unicode 对象”。 事实上在 Python 中并没有“Unicode 字符串”这样的东西，只有“unicode”对象。一个传统意义上的 unicode 字符串完全可以用 str 对象表示。只是这时候它仅仅是一个字节流，除非解码为 unicode 对象，没有任何实际的意义。 我们用“哈哈”在多个平台上测试，其中“哈”对应的不同编码是： UNICODE (UTF8-16)， C854； UTF-8， E59388； GBK， B9FE。 1.1 Windows 控制台 下面是在 windows 控制台的运行结果： 可以看出在控制台，中文字符的编码是 GBK 而不是 UTF-16。将字符串 （s GBK 编码）使用 decode 进行解码后，可以得到同等的 unicode 对象。 注意：可以在控制台打印 ss 并不代表它可以直接被序列化，比如： 向文件直接输出 ss 会抛出同样的异常。在处理 unicode 中文字符串的时候，必须首先对它调用 encode 函数，转换成其它编码输出。这一点对各个环境都一样。 总结：在 Python 中，“str”对象就是一个字节数组，至于里面的内容是不是一个合法的字符串， 以及这个字符串采用什么编码（gbk, utf-8, unicode）都不重要。这些内容需要用户自己记录和判 断。这些的限制也同样适用于“unicode”对象。要记住“unicode”对象中的内容可绝对不一定就是 合法的 unicode 字符串，我们很快就会看到这种情况。 总结：在 windows 的控制台上，支持 gbk 编码的 str 对象和 unicode 编码的 unicode 对象。 1.2 Windows IDLE（在 Shell 上运行） 在 windows 下的 IDLE 中，运行效果和 windows 控制台不完全一致： 可以看出，对于不使用“u”作标识的字符串，IDLE 把其中的中文字符进行 GBK 编码。但是对于 使用“u”的 unicode 字符串，IDLE 居然一样是用了 GBK 编码，不同的是，这时候每一个字符都 是 unicode（对象）字符！！此时 len(ss) = 4。 这样产生了一个神奇的问题，现在的 ss 无法在 IDLE 中正常显示。而且我也没有办法把 ss 转换 成正常的编码！比如采用下面的方法： 这有可能是因为 IDLE 本地化做得不够好，对中文的支持有问题。建议在 IDLE 的 SHELL 中， 不要使用 u“中文”这种方式，因为这样得到的并不是你想要的东西。 这同时说明 IDLE 的 Shell 支持两种格式的中文字符串：GBK 编码的“str”对象