采集基本概念--web信息检索与数据抓取-网页编码.pptxVIP

网络数据采集 -网页编码 北京信息职业技术学院 | 郑淑晖 伊新 网页编码 2 常见编码：中文 GBK ,繁体中文 Big5 ,日文 EUC-JP ,韩文 EUC-KR 等,每种语言的编码方式是不同的,所以需要使用charset为网页提供了一种编码方式,否则页面很可能出现乱码. UTF-8 是没有国家的编码,也就是独立于任何一种语言,任何语言都可以使用 3 ASCII编码 ASCII编码的全称是American Standard Code for Information Interchange。最开始八位的字节一共可以组合出256(2的8次方)种不同的状态，把其中的编号从0开始的32种状态分别规定了特殊的用途，之后又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。后来计算机发展越来越广泛，世界各国为了可以在计算机保存他们的文字，他们决定采用127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了 最后一个状态255。从128到255这一页的字符集被称”扩展字符集”。 GB2312编码 4 把ASCII编码那些127号之后的奇异符号们直接取消掉。规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样就可以组合出大约7000多个简体汉字了。在这些编码里，还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的”全角”字符，而原来在127号以下的那些就叫”半角”字符了。这种汉字方案叫做 “GB2312″。GB2312 是对 ASCII 的中文扩展。 GBK编码 5 中国的汉字太多了，后来还是不够用，于是不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是 扩展字符集里的内容。扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。  UNICODE编码 6 因为当时各个国家都有一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码。这时 ISO （国际标谁化组织）的国际组织决定着手解决这个问题。他们一起创造了一种编码 UNICODE ，这种编码非常大，大到可以容纳世界上任何一个文字和标志。所以只要电脑上有 UNICODE 这种编码系统，无论是全球哪种文字，只需要保存文件的时候，保存成 UNICODE 编码就可以被其他电脑正常解释。  UTF-8编码 7 UNICODE 在网络传输中，出现了两个标准 UTF-8 和 UTF-16，分别每次传输 8个位和 16个位。  UTF-8 编码体积比较大，占电脑空间比较多，如果面向的使用人群绝大部分都是中国人，用 GBK 等编码也可以。目前电脑性能都比较高，所以推荐所有的网页使用统一编码：UTF-8 。 1.《自己动手写网络爬虫》罗刚 王振东编著 清华大学出版社 2010-10-012.刘清林 web信息检索与数据抓取电子讲义 8 参考文献(资源)