利用统计方法和中文练习资料处理台语文词性标记.pptVIP

利用統計方法及中文訓練資料處理台語文詞性標記 Modeling Taiwanese POS tagging with statistical methods and Mandarin training data 楊允言 戴嘉宏 劉杰岳 陳克健 高成炎 2008.9.5 報告大綱 研究架構 研究目的 研究方法 結果與分析 未來方向 1. 研究架構 台語文語料庫 詞頻/MI 統計 詞性標記 兩種書寫型式互轉（漢字羅馬字） 語法結構樹 2. 研究目的 台語文 tagging 問題1：詞類集中文詞類集 問題2：缺trainging data中文的training data 2. 研究目的-2 Input：漢羅/羅馬字 段落對齊文本 Lu?n tha?k pe?h-o?e-ji? khah-ia?n tha?k Tiong-kok ji?, chiu?-si? ko?e tha?k, koh m?-sa?i le?ng-go?a ko?e-seh … 論讀白話字較贏讀中國字，就是會讀，koh m? 使另外解說 … 1885 葉牧師 白話字的利益 2. 研究目的-3 Output：Tagging結果 論[Lu?n] (VC) 讀[tha?k ] (VC) 白話字[pe?h-o?e-ji? ] (Na) 較贏[khah-ia?n ] (VJ) 讀[tha?k ] (VC) 中國[Tiong-kok] (Nc) 字[ji?] (Na) ， (COMMACATEGORY) 就是[chiu?-si? ] (Cbb) 會[ko?e] (D) 讀[tha?k] (VC) ， (COMMACATEGORY) koh[koh] (D) m?使[m?-sa?i ] (D) 另外[le?ng-go?a ] (Da) 解說[ko?e-seh] (VC) 3. 研究方法 3. 研究方法-2 利用台華辭典找出華語對譯詞（一對多） 有的找不到 HMM挑最適當的華語詞 3. 研究方法-3 MEMM分類器挑詞性 10個features 語詞：wi, wi-1, wi-2 wi-1 , wi+1 , wi+1 wi+2 詞性：ti-1, ti-2 ti-1 構詞：m1, m2 , mn 4.結果與分析 挑選7篇文章的第一段 文類：小說3 / 散文3 / 劇本1 時期：清2 / 日2 / 戰後3 837音節 / 564詞 48個詞性標記錯誤 正確率 91.49% 4.結果與分析-2 我[góa]{我}我(Nh) 將[chiong]{將}將(D) 草帽仔[chháu-bo?-á]{@草帽仔}草帽仔(Na) 掛[kòa]{帶;掛;戴}帶(VC) ti? [ti?]{在}在(P) 壁頂[piah-téng ]{牆壁上}牆壁上(Nc) ， 行李[hêng-lí]{行李}行李(Na) khêng[khêng]{收拾;盤點}收拾(VC) khêng[khêng]{收拾;盤點}收拾(VC) leh[leh]{咧}咧(T) ， 4.結果與分析-3 4.結果與分析-4 4.結果與分析-5 4.結果與分析-5 5.未來方向 建立training data 中文和台文的差異 台語詞類集 敬請指教 * * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Crea