基於统计方法之中文搭配词自动撷取.pdf

基於統計方法之中文搭配詞自動擷取 張翠芸、柯淑津 東吳大學資訊科學系 Department of Computer Information Science SooChow University ms9513@sun.cis.scu.edu.tw ksj@cis.scu.edu.tw 摘要 本研究採取以下四個步驟擷取出雙連詞、三連詞、四連詞之詞彙或詞性組合之搭配詞。 首先採用 Smadja’s Xtract 的平均數及變異數的方法，擷取具有變動距離模式所共同出現 的詞彙或詞性的組合，接著使用搭配詞顯著性的衡量方法：相互資訊值及 T 檢定值。 通過以上檢驗的候選搭配詞，經由對照中央研究院詞義標示語料庫之目標詞的結果，在 同樣的跨距下，若同為一個詞義者，則我們以此搭配詞作為詞義標示知識。並且，本研 究將產出之搭配資訊應用於詞義自動標示處理，達到 20.07%的應用率及 90.83%的正確 率。 Abstract We take the four following steps to extract collocations made of combinations of 2, 3, 4 words and/or part of speech, respectively. First, we use “Smadja’s Xtract” to extract the co-occurrence combinations of words and/or part of speech of varying distance by computing means and variances. Second, we evaluate the significances of collocation candidates by 2 metrics: mutual information and t-test value. At last, we compare the head words of tagged word sense corpus made by Academic Sinica with the collocation candidates. If in the same distance, the head words of collocation candidates match the ones made by Academic Sinica, we say they are collocations. In addition, we apply the collocation information produced from this research to word sense disambiguation. It reaches application rate of 20.07% and precision rate of 90.83%. 關鍵詞：中文搭配詞，相互資訊值，自然語言處理，統計方法，T 檢定值，詞義辨識 Keywords: Chinese collocation, mutual information, natural language processing, statistical method, t-test, word sense disambiguation. 一、簡介 不同民族的歷史文化知識背景以及人們的思考邏輯模式不同，看待同樣的人事物、同樣 的行為情境過程，在語言的描述上也會有所不同。每個地區的語言都有其習慣性的用 法，而所謂的搭配詞 (collocation) 廣義而言，就是指兩個或多個詞依照語言習慣性結 合在一起表示某種特殊意涵的詞彙現象。搭配詞在不同的研究領域上各有不同的解讀