中文文本自动分词与标注第8章汉语词义自动标注技术.pptVIP

中文文本自動分詞與標注 第8章　漢語詞義自動標註技術 報告人：劉謦儀( 綱要 詞義標注 詞義排歧 詞義自動標注 與 詞義自動排歧 語言的編碼 漢字字義組合結構 基於字義排歧的模型 自組織的漢語詞義排歧方法 結語 詞義標注 對文本中的每個詞根據其所屬之上下文給出它的語義編碼 指用非文字的東西來表示文字消息的內容，用圖畫、樂譜等都可以進行語義編碼。 詞典釋義文本中的某個「義項號」 義類詞典中相映的「義類編碼」 詞義排歧 處理一詞多義現象 例：大學是教育機構是一本古書，博士既是官名，又是博學多才的人，又是師傅，還是一種學位的名稱。 使用詞義標注文本可提高檢索時的查全率和查準率。 有利於選擇可以恰當表達語句中詞的目標詞，以提高翻譯的準確性。 建立基於語義類的語言模型，為語音識別、手寫體識別和音字轉換提供幫助。 詞義自動標注 ( Word Sense Tagging ) 也稱為詞義自動排歧 ( Word Sense Disambiguation ) 計算機運用邏輯運算與推理機制，對出現在一定上下文中詞語的語義進行正確的判斷，自動確定其正確的義項並加以標注的過程。 多義詞排歧 主要依據該多義詞出現的上下文，排歧的過程就是建立他們之間的聯繫過程，這種聯繫則是詞語間的語義聯繫。 常見方法 人工智能法、基於詞典的方法、基於語料庫的方法 語言的編碼 分為語音編碼和語義編碼