未知词侦测-COSCUP.pptVIP

詞 獨立語意或語法功能的單位 中文分詞技術的兩大問題 歧義 台灣^大學生 台灣大學^生 台灣^大學^生 台灣^大^學生 未知詞 王^英雄^是一個典型的台灣大學生 王英雄^是一個典型的台灣大學生 Agenda 詞典比對法的缺點 未知詞 未知詞偵測：戰略 戰術 後續議題 Backup slides 由「詞」談起 參考資料 中研院 CKIP 中文斷詞系統.tw/ 謝國平: 《語言學概論》, 三民書局, 1998. 交大外文劉美君老師的「句法學/構詞學」課堂講義。 Second International Chinese Word Segmentation Bakeoff 網頁資料/bakeoff2005/ 詞典比對法 … from the study of language, that will bring to light inherent properties of human mind.--- Chomsky Word Segmentation (分詞、斷詞) C1C2C3…Cn 理論上共有 2n-1 種分詞可能 基本方法：辭典比對法 實例 電子^計算機 vs. 電子計算機 國家^政治 vs. 國^家政^治 研究^生命^起源 vs. 研究生^命^起源 颱風^眼看著^就要^來了 vs. 颱風眼^看著^就要^來了 輔助經驗法則 長詞優先 平均詞長 機率模型 e.g., HMM (hidden Markov model) 辭典比對法：理論性缺點 實詞的開放性 (content/lexical word) 名詞、動詞、形容詞、副詞 實詞的靈活構詞律 詞綴：老虎、胖子、罐頭、小明 衍生：綠化、溼度、醫師、可看性、業務部 並列：春夏秋冬、輕重緩急、男女、花草、輕重 偏正：微笑、小便、書桌、球桌、飯桌、牌桌、談判桌 疊字：坐坐、說說、慢吞吞 略語：北約、國科會、中研院、交大 借代、轉品、鑲嵌、析字…… 辭典比對法：技術性缺點 電腦語言 多半是 context-free grammar 可 bottom-up、pipeline 運作 自然語言 Context-sensitive grammar and above 諸層次交互影響 構詞 (morphology) 句法 (syntax) 語意 (semantics) 話語 (discourse) 中文分詞技術的兩大問題 歧義 台灣^大學生 台灣大學^生 台灣^大學^生 台灣^大^學生 未知詞 王^英雄^是一個典型的台灣大學生 王英雄^是一個典型的台灣大學生 未知詞 A man is known by the company he keeps. A word is known by the company it keeps. 最常見的未知詞：構詞律觀點 縮寫 中油、台汽 專有名詞 陳壽、香檳城、微軟 衍生詞 電腦化、可看性 複合詞 轉赴、獲准、書桌 數值 三千、一九八四年、十五巷 最常見的未知詞：詞類觀點 未知詞造成的問題 導致分詞錯誤 通常會將完整的詞誤斷成更短的「單字詞」或「多字詞」 誤斷成單字詞者佔 98.70% [Chen Bai, 1998] 造成「搶詞」 未知詞的困難點 Without (or even with) syntatic or semantic checking, it is difficult to tell whether a character in a particular context is a part of an unknown word or whether it stands alone as a word. 戰略 以迂為直 以地方包圍中央 大構想 Two approaches Identification Exact boundary Detection Any suspected pattern Identification vs. Detection Identification: exact boundary of unknown words 要根據各種不同的 content 或 context 相依規則 難!!! Detection: occurrence of unknown words If any one of its components is detected as an “improper character”… [Chen Bai, 1998] 專門探討 “detection” 戰術 A man is known by the company he keeps. A word is known by the company it keeps. 靈感其一 未知詞導致分詞錯誤 通常會將完