机器翻译基础..pptVIP

机器翻译基础 1.???? 机器翻译概述 1.1?? 中文汉字内部编码体系 1.1.1 字符编码 字符编码就是以二进制的数字来对应字符集的字符，目前用得最普遍的字符集是ANSI，对应ANSI字符集的二进制编码就称为ANSI码，DOS和Windows系统都使用了ANSI码，但在系统中使用的字符编码要经过二进制转换，称为系统内码。 1.1.2 汉字内码 ANSI码是单一字节（8位二进制数）的编码集，最多只能表示256个字符，不能表示众多的汉字字符，各个国家和地区在ANSI码的基础上又设计了各种不同的汉字编码集，以能够处理大数量的汉字字符。这些编码使用单字节来表示ANSI的英文字符（即兼容ANSI码），使用双字节来表示汉字字符。 1.1.3 GB码 GB码是1980年国家公布的简体汉字编码方案，在大陆、新加坡得到广泛的使用，也称国标码。国标码对6763个汉字集进行了编码，涵盖了大多数正在使用的汉字。 区位码(转换成16进制)+0xA0A0。 1.1.4 GBK码 GBK码是GB码的扩展字符编码，对多达2万多的简繁汉字进行了编码，简体版的Win98、2000/XP都是使用GBK作系统内码。 (1) GBK码的由来 GB2312-80 仅收汉字 6763 个，这大大少于现有汉字，随着时间推移及汉字文化的不断延伸推广，有些原来很少用的字，现在变成了常用字，例如：朱鎔基的“鎔”字，未收入 GB2312-80，报业出刊只得使用（金+容）、（金容）、（左金右容）等来表示，形式不一而同，这使得表示、存储、输入、处理都非常不方便，对于搜索引擎等软件的构造来说也不是好消息，而且这种表示没有统一标准。从我们对人民日报 98 年数据的处理过程中，得出这样的经验：回填外字最困难的就是如何得到这种表示方法的集合。 (1) GBK码的由来 为了解决这些问题，以及配合 UNICODE 的实施，全国信息技术化技术委员会于 1995 年 编制了《汉字内码扩展规范》。GBK 向下与 GB2312 完全兼容，向上支持ISO-10646国际标准，GB向ISO-10646过渡过程中起到的承上启下的作用。 (2) GBK码字集 GBK共收入21886个汉字和图形符号，包括： GB2312中的全部汉字、非汉字符号。 Big5 中的全部汉字。 ISO-10646 相应的国家标准 GB13000 中的其它 CJK 汉字 以上合计 20902 个汉字。 其它汉字、部首、符号，共计 984 个。 （3）GBK 编码区 GBK/1：OXA1A1-A9FE，除 GB2312 的 符号外，还增补了其它符号 GBK/2：OXBOA1-F7FE, 收录 GB2312 汉字 6763 个，按原序排列； GBK/3：OX8140-AOFE，收录 CJK 汉字 6080 个； GBK/4：OXAA40-FEAO，收录 CJK 汉字和增补的汉字 8160 个。 GBK/5：OXA840-A9AO，扩充非汉字区 用户自定义区：GBK中的空白区，用户可自己定义字符。 (4) GBK的编码区间 GBK 亦采用双字节表示，总体编码范围为 8140-FEFE 之间，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 XX7F 一条线。 GBK编码区示意图 GBK/4 GBK/4 GBK/2(GB2312) GBK/5 GBK/5 GBK/1(GB2312) GBK/3 FE F7 B0 AA A9 A8 A1 A0 81 40 7F A0,A1 FE （5）GBK”标准” 微软公司自 Windows 95 简体中文版开始支持 GBK 代码，标准名称是Windows Codepage936，也叫做 GBK（国标扩展） GBK从来没有成为过正式的国家标准，只不过因为Windows的普及，它已经成为事实上的标准了。很多搜索引擎都能很好地支持 GBK 汉字。 1.1.5 BIG5码 BIG5码是针对繁体汉字的汉字编码，目前在台湾、香港的电脑系统中得到普遍应用。 编码区间：A140-F9FE. 首字节在 A1-F9 之间，尾字节在40-7E,A1-FE 之间，剔除了XX7F-XX9F。 实际区间：A140 - F97E , A1A1 - F9FE 1.1.5 BIG5码（扩展） ?扩充理由：与Unicode和GBK配合，兼容日文汉字和简体中文汉字。 ?扩展后