虽然只有白菜,但也要尽量炒出一桌好菜。.ppt

虽然只有白菜，但也要尽量炒出一桌好菜。 段慧明 duenhm@water.pku.edu.cn 2006年11月21日 充分利用好身边的资源 目前在语料库的加工中： 原始语料（即生语料） 词典（基本词典、其它词典） 切分、标注软件 后处理软件 原始语料的预处理 江苏省泗阳县营门区还缺秋豆种二万五千斤，＠①豆种五千五百余斤，山芋秧三千三百三十八亩，影响适时播种。 …… 字库未存字注释： ＠①原字艹下加录 缺字 原始语料的预处理 对于文件的格式，需要进行适当的处理，以保留更多的信息。 样例 怎样看待语料的平衡问题 文章—段落—句子—短语—词 文章的体裁（文体/j）： 记叙（顺叙，倒叙、插叙、平叙四种叙述方式） 论说（议论、说明） 应用(新闻报道、书信、日记……) 怎样看待语料的平衡问题 文学体裁：诗、赋、骈、词、小说、散文、戏剧 修辞：比喻、比拟、借代、拈连、夸张、双关…… 怎样看待语料的平衡问题 句式：长句、短句 主动、被动 肯定、否定、疑问 单句、复句 口语、书面 语料的处理过程 …切分—标注—短语—句子… 切分——词的识别 词的定义 切分歧义 词典的规模 切分的策略 切分歧义问题 确定义类 ：[确定、定义、义类] 正确定义[类别|类型……] 从能否区别词或语素的角度 会三国话 只有爱别人的人才有权指责别人和训斥别人， 雨还在滴滴嗒嗒地下着 切分歧义问题 是什么让一个以上清华、北大为志向的高材生一步步远离了学校？ 用百分之六可湿性“六六六”十二两，麸皮、谷糠共约十斤，稍加水拌匀，制成毒饵。 如归绥五里营村在七月十一、十二两日，共发动群众六百五十多人， 词性标注、注音问题 兼类词的识别 在7万词中的兼类词3219 兼类 490个兼类种类 种类 词性标注、注音问题 词的多音的识别 词的多音：①粗词类定音(单字) 曾/d-nr 曾/d：céng——曾/nr：zēng 类似的有：区、单…… ②词定音: 发fā-fà 卡kǎ-qiǎ 发卡fàqiǎ 得dé-děi 分fēn-fèn 得分défēn 词性标注、注音问题 ③词类（细词类）定音 撮/q: (qc!A{zuo3}胡子、头发 -qc!B{cuo1}茶叶、盐、芝麻) ④词类+词义定音 背/v: (vt!A{bei1}驮;负担-vt!B1{bei4}背部对着;躲避;瞒-vt!B2{bei4}背诵) ⑤ +专业知识 如：血 多音现象的产生 ∵简化 比重10% 干(a-d-Ng-v-V)幹榦gàn——gān 发(Ng-q-v)發発fā——髮fà 后(f-Ng) 後hoù 短语识别 总的指导思想：搭配 核心问题：寻找各类短语的搭配模式 比如：介词短语 左边界一定是介词，重点落在找出它的右边界。（方位词、时间名词……） 例子 短语识别 —动宾 保持：安静 健康 和平 荣誉 高水平 水平 关系 联系 作风 态度 头脑 称号 习惯 友谊 体形 温度 警惕 秩序 局面 表示：感谢 欢迎 满意 友好 关心 赞成 愿意 同意 反对 决心 观点 同情 肯定 否定 吉祥 怀疑 歉意 短语识别—m+q+n 把/ qc!1 ： 火|泪|鼻涕|草|筷子|汗|卢布|币|草 把/ qe!2： 利器|椅子|凳子|刀|剑|钥匙|伞|剪子|椅|锁 短语识别—m+q+n 名|位,匪徒|博士|村姑|同行|警力|对象|学童|模范|大夫|武士|小姐|朋友|客商|青工|老兵|幼童|公子|母亲|游客|大师|小孩|旅客|小伙儿|院士|教练|首相|妻子|乘客|代表|职工|使节|数|妇女|战士|分子|专家|学生|职工|官兵|移民|吉他手|干部|同志|人选|干警|家属|儿童|群众|姑娘|知青|人士|女孩|女工|市长|观众|台胞|子女|员工|民|学徒工|女兵|总统|选手|歌手|男子|女子|经理|师|考生 短语的语法功能的识别 例子 未解决的问题 标记可离合词的信息 完善自动注音 多个介词、副词共现的语序及对词性的判定 黄 河（1990）：常用副词共现时的次序 袁毓林：多项副词共现的语序原则及其认知解释 关联副词 模态副词 范围副词 状态副词 未解决的问题 当时机成熟时，我们是否可以自顶向下地处理语料（短语——词）？ 坚持自己的研究风格 由于语言是柔性的，我们只有深入地分析它们的共性及个性，找出各种搭配关系，并用详尽的规则加以描述，才能较好地完成对汉语句子的分析。 透彻分析现有的资源 找出相应的对策 用最简洁的办法，达到尽量好