中文未知词侦测浅释.pptVIP

詞 獨立語意或語法功能的單位 中文分詞技術的兩大問題 歧義 台灣^大學生 台灣大學^生 台灣^大學^生 台灣^大^學生 未知詞 王^英雄^是一個典型的台灣大學生 王英雄^是一個典型的台灣大學生 Agenda 詞典比對法的缺點 未知詞 未知詞偵測：戰略 戰術 後續議題 Backup slides 由「詞」談起 參考資料 中研院 CKIP 中文斷詞系統.tw/ 謝國平: 《語言學概論》, 三民書局, 1998. 交大外文劉美君老師的「句法學/構詞學」課堂講義。 Second International Chinese Word Segmentation Bakeoff 網頁資料/bakeoff2005/ 詞典比對法 … from the study of language, that will bring to light inherent properties of human mind.--- Chomsky Word Segmentation (分詞、斷詞) C1C2C3…Cn 理論上共有 2n-1 種分詞可能 基本方法：辭典比對法 實例 電子^計算機 vs. 電子計算機 國家^政治 vs. 國^家政^治 研究^生命^起源 vs. 研究生^命^起源 颱風^眼看著^就要^來了 vs. 颱風眼^看著^就要^來了 輔助經驗法則 長詞優先 平均詞長 機率模型