一种基于N—gz铷n模型和机器学习的汉语分词算法,.PDFVIP

雨23母蒂J1期 电子与信息学报 、。。l 23＼nll 2”『)j年l】1 J()I，RN、LoF—JErTR0弋I‘1S ANl)f、roff^I^f』oN丁E(‘¨N()』(，(n’、()t200J 一种基于N—gz铷n模型和机器学习的汉语分词算法， (华南理l‘凡学工商管理学院广-川j0641) …(华南型工大学电丁々通店_[程幕r川5l【)641) 摘 要 汉语的自动分州，是计抖机巾文信息处理$i!域中一t基础m田难的课题．废史提出丁一种将汉语文 本句下切分成侧的新方法．造种方法“N—gram使型为基础，并玷台有救的VlteIbI搜索神话米实现议语句 子的州1可．由j呆嗣丁基于机器学习的自组l目斡法，无需凡1‘编制’Ⅲ域涮典．浚文还讨论丁评价分诃前法的两 1、宅量指标，即矗准率和杏全率的定义，在此基础上，用封^州语树晖阳丌坡语料库对该文提出的汉语分词摸型 进行J’实啦fc!__试．表明藏横型和