自然语言处理 第四章汉语语料库多级加工.pptVIP

汉语语料库多级加工 目的 语料库的多级加工技术是语料库语言学研究的前沿课题。 它的处理目标是对生语料文本进行多级加工(分词、词性标注、句法分析)形成树库（treebank）语料。 目的:大规模的语料库中提取应用所需要的各个语言单位上的语言学知识。 计算机语料库的功能的决定性因素 语料库的规模 语料库容量的大小直接影响到统计结果的可靠性 语料的分布 语料分布的考虑则关系到统计结果的适用范围 语料的加工深度 加工深度则决定了该语料库能为自然语言处理提供什么样的知识 ? 语料的加工顺序 经过不同阶段的处理，语料库包含的各类信息也不断增加，最终将成为一个名副其实的语言知识库。这样的知识库可以为汉语统计分析、汉语理解和机器翻译等资源提供重要的资源和有力的支持 自动分词 规范 北大计算语言学研究所1994年制订了《现代汉语文本切分与词性标注规范Ｖ1.0》。 北大计算语言学研究所于1998年10月制订了《现代汉语文本切分与词性标注规范Ｖ2.0》 后改名为《现代汉语语料库加工规范》。 分词的主要难点 切分歧义 交集型 覆盖型 未登录词 就是在词典中没有登录过的人名, 地名, 机构名, 新词语等. 当采用匹配的方法来切词时, 由于词典中没有登录这些词, 会引起自动切词的困难。 歧义切分字段在汉语书面文本中所占的比例并不很大，在实际的书面文本中，特别是在新闻类文本中，未登录词的处理是书面文本自动切分的一个十分突出的问题。这是汉语书面语自动切分的另一个难点。 中国人名识别（1） 根据统计, 汉语姓氏大约有1000多个, 姓氏中使用频度最高的是“王”姓, “王, 陈, 李, 张, 刘” 等5个大姓覆盖率达32%, 姓氏频度表中的前14个高频度的姓氏覆盖率为50%, 前400个姓氏覆盖率达99%。 人名的用字也比较集中。 频度最高的前6个字覆盖率达10.35%, 前10个字的覆盖率达14.936%, 前15个字的覆盖率达19.695%, 前400个字的覆盖率达90%。 第一次出现的人名叫做“定义性出现”, 尔后出现的人名叫做“使用性出现”。 为此, 在切分时可根据人名在定义性出现时的限制性成分首先建立人名表。 中国人名识别（2） 人名的限制性成分主要有 身份词：表示人的职务, 职位, 头衔的词语和亲属称谓的词语. 有的出现在人名之前, 如“工人, 教师, 丈夫, 妻子, 犯人”, 有的出现在人名之后, 如“先生, 女士”, 有的可以出现在人名的前面和后面, 如“教授, 总理”。 许多身份词带有后缀字, 如“在逃犯, 理发员, 面包师, 目击者”中的“犯, 员, 师, 者”等。 地名和单位名: 如“浙江绍兴周树人, 国家语委冯志伟”。 复杂的定语: 如“德高望重的吕叔湘先生”。 根据这些限制性成分，可以有效地识别人名 中国人名识别（3） 中国姓氏用字中有的是专用作姓氏的, 如“赵, 邓, 潘, 冯”等, 有的则兼作其他词语使用, 如“顾, 黄, 周”等, 对于兼作其他词语的姓氏, 需要建立规则来判断。 “顾”兼作动词 记者顾小东 只顾短期的经济利益 规则: 如果“顾”前有副词(只), 则“顾”不为姓氏。 “黄”兼作形容词 黄曾阳研究概念层次网络 彩色的光带射到黄玻璃上 规则: 如果“黄”后有物质名词，则“黄”不为姓氏。 “周”兼作量词 由周恩来任国务院总理 地球自转一周 规则: 如果“周”前有数词, 则“周”不为姓氏。 外国人名识别（1） 《英语姓名译名手册》中共收英语姓氏, 教名约4万个, 经计算机统计得出英语姓名译名用字表共476个： “啊阿埃艾爱昂奥巴白柏拜班邦包保堡鲍北贝倍本比彼边别滨宾玻波博勃伯卜布采蔡藏策查察昌彻陈楚垂茨慈次聪存措达大戴代丹当道德得登邓迪底地蒂第帝丁东杜敦顿多厄恩耳尔法凡范方菲费芬丰冯佛夫福弗辅富盖甘冈高哥戈葛格各根贡古顾瓜圭郭果哈海罕翰汉杭豪赫黑亨洪侯胡华怀惠霍基吉季计嘉佳加贾简姜焦杰捷金津京久居喀卡开凯坎康考柯科可克肯孔扣寇库夸匡奎魁坤昆阔拉腊莱来赖兰朗劳勒乐雷黎理李里礼荔丽历利立莲连廉良列琳林霖龄留刘流柳龙隆卢鲁露路吕略伦萝罗洛玛马麦迈满曼芒茅梅门蒙孟米密敏明名摩莫墨默姆木穆拿娜纳乃奈南内嫩能妮尼年涅宁牛纽农努女诺欧帕派潘庞培佩彭蓬皮匹平泼朴普漆奇齐契恰钱强乔切钦琴青琼丘邱屈让热仁日荣茹儒瑞若撒萨塞赛三缮桑瑟森莎沙珊山尚绍舍申生盛圣施诗石什史士寿舒朔斯思丝松孙索所塔泰坦汤唐陶特藤提惕田铁汀廷亭通透图托脱娃瓦万旺威韦为维伟魏卫温文翁沃乌武伍西锡希悉席霞夏显香向晓肖歇谢欣辛兴幸姓雄休修雪逊雅亚延扬阳尧耀耶叶依易意因英永尤雨约宰赞早泽曾扎詹湛章张哲者珍真芝知智治朱卓兹子宗祖佐丕谟葆薇岑弼娅缪珀瑙赉滕斐熙鸠窦艮麟黛”。 ?利用这个译名表，可初步确定外