AN VN词组 - 白话字台语文网站.PPT

附加詞類訊息e台語語詞搭配ti教學上e應用 ICTR 2006 – 2006-09-10 作者 楊允言 大漢技術學院資訊工程系 助理教授 劉杰岳 拋荒台文工作室負責人 陳鄭弘堯 台語文工作者 陳柏中 國立清華大學物理系助理教授 大綱 紹介 基礎背景 實驗步數 實驗結果 未來方向 紹介：問題 語詞搭配(collocation)是學習語詞按怎用真好ê工具 用互訊息(mutual information) kah相關度(correlation) 來統計 會產生bōe少無必要ê資料(noise) 紹介：解決方法 利用詞類ê訊息來篩選 自動ka無必要ê資料theh掉 提升自動台語語詞搭配ê品質 試驗動詞-名詞(V-N)詞組kap形容詞-名詞(A-N) 詞組 紹介：實驗結果 動詞-名詞(V-N)詞組ê結果比形容詞-名詞(A-N) 詞組khah好 查詢一個動詞正pêng ê名詞(V-N) iah是一個名詞倒pêng ê動詞(V-N)，有學習參考ê價值 Beh進一步提升品質，iah-koh有chia?-chōe空課愛做 語料庫 語料庫to是khng語言材料ê倉庫 語料庫語言beh復興ê重要基礎 語料庫ê應用真chōe 台文ê語料庫一直kàu 21世紀chiah開始 語詞搭配(collocation) 語詞組合做伙ê方式 語料庫真重要ê應用 例 車單phah好a (O) 車單摃好a (X) 搭配錯誤：包括語法kah慣用語 語言學習真重要ê一部分 自動語詞搭配 根據語料庫，ka共同出現而且關係密切ê語詞chhē出來 有兩個公式thang用： 互訊息(mutual information, MI) 相關度(correlation，CR) 互訊息(MI) – 紹介 MI(AB) = - log(P(A) * P(B) / P(AB)) P(A)是語詞A ê機率，P(A) = Freq(A) / N P(B)是語詞B ê機率 P(AB)是詞組AB ê機率 語料愈大，統計ê結果愈有代表性 互訊息(MI) – 1 若AB tiā?-tiā? 成對出現 MI(AB) = - log(P(A) * P(B) / P(AB)) P(A)≒P(B) ≒P(AB)， MI(AB) ≒ -log(P(AB))，P(AB) 1 是一個khah大ê正數 互訊息(MI) – 2 若A kah B無關係（獨立事件） MI(AB) = - log(P(A) * P(B) / P(AB)) P(AB)≒P(A)P(B) MI(AB) ≒ -log(1) ≒ 0 互訊息(MI) – 3 若語詞A出現致使B khah boe出現 MI(AB) = - log(P(A) * P(B) / P(AB)) P(AB)P(A)P(B)， MI(AB) ≒ -log(x)，x 1 MI(AB)是負數 相關度(CR) – 紹介 CR(AB) = n * (n11 × n22 - n12 × n21 )2  / (n1* × n2* × n*1 × n*2) B ~B Σ A n11 n12 n1* ~A n21 n22 n2* Σ n*1 n*2 n 自動語詞搭配 – 限制 phah字錯誤ê 情形 因為錯字ê詞頻真低，會致使MI kah CR ê分數變足k?an 對策：會sái設詞頻ê限制 限定相óa ê兩個語詞 無相óa ：phah兩張車單 3個語詞：除了...以外，iah-koh ... Be-tang取代專家 對學習者kah專家有參考作用 自動語詞搭配 – 用詞類改進 詞類會sái提供真好ê線索 用詞類Ka結果分類整理，對學習kah分析有幫贊 實驗步數 – 紹介 建立資料庫 台語文語料 台文華文線頂辭典（簡稱台華辭典） (漢羅ê)台語文語料斷詞 建立台華辭典ê詞類 計算兩個相óa ê語詞ê MI kah CR 用詞類篩選 實驗步數a – 建立資料庫 台語文語料 來源：台語文界ê朋友，楊允言負責整理 全羅3,462,367個音節 漢羅5,568,057個音節 台文華文線頂辭典（簡稱台華辭典） 來源：主要貢獻者是鄭良偉，koh有台語文界朋友鬥補充詞條 6萬2千外個詞條 每一個詞條包括漢羅、全羅、華文對譯 實驗步數b - 語料斷詞 全羅ê語料 無需要斷詞 語詞數量：2,436,599個 漢羅ê語料需要 根據台華辭典斷詞 「倒頭