中文信息处理的资源建设.pptVIP

中文信息处理的资源建设苗传江2006年8月25日北京师范大学提纲1. 语言资源的重要性及其类型2. 语言资源建设是系统工程3. 关于语料库建设4. 知识库建设的基本问题5. 国内外知识库建设项目简介6. HNC的知识库建设7. 语言资源建设的其他若干问题1.语言资源的重要性及其类型重要性语言资源制约语言信息处理的发展各项技术和应用都离不开语言资源语言资源对语言信息处理的竞争有决定意义01030204语言资源的类型01对言语的记录02对语言的描述03系统是否可直接调用？04基础型还是应用型？05服务于理解还是生成？06是否以语义描述为中心？07系统性理论方法不同，资源可能不同。资源建设应与系统实现密切配合。 例如词表建设（收“词”原则和词表的组织）输入法软件的大“词”表“类推词”：鸡蛋、鸭蛋、鹌鹑蛋、恐龙蛋……“异构词”：松花蛋、茶叶蛋、荷包蛋；煎蛋、蒸蛋；鱼蛋、泥蛋、驴粪蛋；笨蛋、坏蛋、蠢蛋“临时词”：宇迷、保先专业词：越位、点球、边裁；铲射、吊射、扫射、垫射工程性目标明确可行规模达至应用注重实际效用“鸡蛋”应收入词表，而“鸭蛋”未必。3.关于语料库建设语料库有什么作用？应怎样加工语料库？何谓“大规模”？语料库怎么平衡？现代汉语与语料库建设的当务之急服务于现代汉语语言知识库建设文本属性标注语体、文体、体裁、领域、语域语料库工具的研发查找例句4.知识库建设的基本问题知识库：语言资源的子类语言模糊的消解统计数据是知识库吗？百科全书是知识库吗？意义的表示和映射系统可直接调用NLU的基本目标是什么？面向NLUNLU需要哪些知识？句法、语义、语用、常识、专业……？周杰伦在大陆的演出活动周杰伦将在大陆举办个人演唱会周杰伦个人演唱会将在北京首都体育馆举行巡回演出第一站，周杰伦在广州火爆亮相周杰伦前往西安参加义演活动北京举办扶贫义演，刘德华、周杰伦等港台明星出席各类知识分别起什么作用？重要性的差别主次之分：谁是统帅？各类知识之间的关系：分立还是协同？句法=语义=语用？Colorlessgreenideassleepfuriously.(Chomsky)所有的石头都死了。（邢公畹）一树红桃个个青，满天下雨半天星，三个和尚四面坐，不言不语唱真经。知识怎样表示？针对电脑的需要如何构建知识库系统？知识从哪里来？语言材料和语言能力怎样有效地利用知识？01020304Cyc http:///Cycorp,Inc.,theleadingsupplierofformalizedcommonsense,basedinAustin,Texas,foundedbyDouglasLenatin1984Cyctechnology,theworldslargestandmostcompletegeneralknowledgebaseandcommonsensereasoningengineCycorpsgoal,tobreakthesoftwarebrittlenessbottleneckonceandforallbyconstructingafoundationofbasiccommonsenseknowledgeWhat’scommonsense?whatwenormallyconsiderconsensusknowledgeabouttheworld.Forexample,Cycknowsthattreesareusuallyoutdoors,thatoncepeopledietheystopbuyingthings,andthatglassesofliquidshouldbecarriedrightside-up. --Cycsoundslikepsych.Cycwillenableavarietyofknowledge-intensiveproductsandservices.Forexample,Cyccanfindthematchbetweenausersqueryforpicturesofstrong,adventurouspeopleandanimagewhosecaptionreadssimplyamanclimbingacliff