中文未知词侦测浅释-首页2015COSCUP教学文稿.pptVIP

29. 2. Context 必須合乎語法 規則類型 例子 {字} {的} {詞類} {(T)} {字}　詞 {全} 　世界 詞　 {字} 不　 {願} {字} 　詞類 {就} 　(VH) 詞類　 {字} (Na) 　{上} {詞類} 　詞類 {(Dfa)} 　(Vh) 詞類　 {詞類} (Na) 　{(VC1)} {字} 　詞類　詞類 {極} 　(Vh) 　(T) 詞類　詞類　 {字} (Na) 　(Dfa) 　{高} 30. 第二步：訓練規則 Machine learning 步驟 X 已正確分詞過的語料庫 X’ 把 X 還原成未分詞過的原始語料 Y 用自己的程式及規則將 X’ 分詞過 A 真正的未知詞 C 猜測的未知詞 B 比對 X 和 Y 的差異 調整規則，設法 C↓B↑ precision: B / (C+B)recall: B / (A+B) 31. 第零步：規則 Bootstrapping X 已正確分詞過的語料庫 據以產生初始規則之正例 D 選定的詞典 W X 中的詞，但未收錄於詞典 D 中 Y 用 D 將 W 分詞，產生 improper chars 根據 Y 產生初始規則之反例 筑波大學江崎 筑(BOUND)^波(Nf)^大學(Nb)江(Na)^崎(BOUND) 32. 規則選取 * * Quick dirty Ill-structured Tightly-coupled to HTML Full of defective syntax semantics * * *. 1. * Presented in COSCup 2006, 3rd FSCI Workshop 國立交通大學資訊工程學系分散式系統實驗室 Distributed Computing Systems Lab 中文未知詞偵測淺釋 *2006.10.28. 葉秉哲 2. 3. 詞 獨立語意或語法功能的單位 4. 中文分詞技術的兩大問題 歧義 台灣^大學生 台灣大學^生 台灣^大學^生 台灣^大^學生 未知詞 王^英雄^是一個典型的台灣大學生 王英雄^是一個典型的台灣大學生 本次報告主軸 6. 參考資料 中研院 CKIP 中文斷詞系統.tw/ 謝國平: 《語言學概論》, 三民書局, 1998. 交大外文劉美君老師的「句法學/構詞學」課堂講義。 Second International Chinese Word Segmentation Bakeoff 網頁資料/bakeoff2005/ 7. 詞典比對法 … from the study of language, that will bring to light inherent properties of human mind.--- Chomsky 8. Word Segmentation (分詞、斷詞) C1C2C3…Cn 理論上共有 2n-1 種分詞可能 9. 基本方法：辭典比對法 實例 電子^計算機 vs. 電子計算機 國家^政治 vs. 國^家政^治 研究^生命^起源 vs. 研究生^命^起源 颱風^眼看著^就要^來了 vs. 颱風眼^看著^就要^來了 輔助經驗法則 長詞優先 平均詞長 機率模型 e.g., HMM (hidden Markov model) 10. 辭典比對法：理論性缺點 實詞的開放性 (content/lexical word) 名詞、動詞、形容詞、副詞 實詞的靈活構詞律 詞綴：老虎、胖子、罐頭、小明 衍生：綠化、溼度、醫師、可看性、業務部 並列：春夏秋冬、輕重緩急、男女、花草、輕重 偏正：微笑、小便、書桌、球桌、飯桌、牌桌、談判桌 疊字：坐坐、說說、慢吞吞 略語：北約、國科會、中研院、交大 借代、轉品、鑲嵌、析字…… 11. 辭典比對法：技術性缺點 電腦語言 多半是 context-free grammar 可 bottom-up、pipeline 運作 自然語言 Context-sensitive grammar and above 諸層次交互影響 構詞 (morphology) 句法 (syntax) 語意 (semantics) 話語 (discourse) 12. 中文分詞技術的兩大問題 歧義 台灣^大學生 台灣大學^生 台灣^大學^生 台灣^大^學生 未知詞 王^英雄^是一個典型的台灣大學生 王英雄^是一個典型的台灣大學生 本次報告主軸 13. 未知詞 A man is known by the company he keeps. A word is known by the company it keeps. 14. 最常見的未知詞：構詞律觀點 縮寫 中油、台汽 專有名詞 陳壽、香檳城、微軟 衍生詞 電腦