计算语言学概论..pptVIP

計算語言學概論 Ch4 詞法分析 楊允言 4.1 概論 音節?語詞?語句 語詞是ùi無意義ê聲音kàu有意義ê語音ê關鍵過渡 語言學對詞ê定義：會tàng獨立運用，有意義ê siong細ê語法單位 4.1 概論-2 漢字ê例 簡體字ê「后」對應繁體字ê「後面、皇后」，若是ti字ê基礎轉換有困難，ti詞ê基礎做轉換to有可能 文字校對系統，「羅馬子(字)」(拼音ê輸入法)、「于(干)涉」(字形ê輸入法)，利用詞ê基礎來檢查，chiah檢查會出來 語詞檢索「人為」，若是語料庫無經過斷詞處理，有可能會chhe出「以人為本…」、「人為按怎beh活leh」等無適合ê例句 4.1 概論-3 詞法分析第一個任務 ùi話句內底ka詞chhe出來(tokenization) 若有需要，koh分析組成這個詞ê語素成分(lemmatization / morphological analysis) 詞法分析第二個任務 做Part of Speech iah是 Word Sense Tagging 這句話ê三個翻譯(n)lóng翻譯(v)了têng-tan去 4.1 概論-4 詞法分析ê困難點 理論上 詞ê 定義？ 詞ê 意思beh按怎確認？ 實作上 Beh按怎真緊ka詞chhe出來？ 斷詞beh按怎做disambiguity？ 詞類beh按怎做disambiguity？ 4.2 詞ê判別 英文ê詞