中文文本自动分词与标注第9章.pptVIP

中文文本自動分詞與標注第9章漢語自動分詞軟件系統 CPTWT Presentation 楊祝晉 摘要 自80年代初提出漢語自動分詞系統以來，已經提出了多種分詞方法 例如：正向最大匹配、逆向最大匹配、窮多層次列舉、鄰接約束、聯想-回溯、詞頻統計、專家系統、類神經網路等方法。 不同的分詞方法模擬了分詞行為的不同面向，取得了不同的成效，並且已應用在不同用途的中文訊息處理系統上。 本次報告主要介紹二種分詞軟體系統 Outline 字串頻率統計和詞形匹配相結合的分詞系統 系統結構及其各種模型的主要功能 實驗結果及分析 基於聯想-回溯方法的漢語自動分詞系統 系統結構及分詞方法 分詞知識庫的多層次建構 Part I字串頻率統計和詞形匹配相結合的分詞系統 系統架構介紹 實驗結果分析與討論 系統結構及處理流程 系統架構圖 系統結構說明 系統對原文進行三遍掃描： 第一遍，利用切分標記將原文分成較短字串序列 第二遍，根據每個短字串的子字串在上下文中的頻率計算其權重 值，權重值大的子字串視為候選詞 第三遍，利用候選詞和常用詞典對短字串進行切分 三個處理模型： 初步處理模型、字串頻率統計模型、分詞處理模型 二個資料庫： 切分標記庫、詞綴集 四個詞典： 單字數詞詞典、單字量詞詞典、臨時詞典、靜態常用詞詞典 1. 初步處理模型 初步處理模型 原文分成較短的字串序列集 顯式切分標記：標點、數字、外文、其他非漢字符號 隱式切分標記：出現頻率高、構詞能力差的單字詞 (客觀) 例如：「的」 平均每二十五個字就會出現一次 構詞能力並不強 本系統共收入 181 條規則 隱式切分標記 「的」字的規則： 判斷方式： 若 LR 判斷滿足且 L* 判斷滿足 在切分標記的左邊將字串切開 若 LR 判斷滿足且 *R 判斷滿足 在切分標記的右邊將字串切開 「單字數詞 + 單字量詞」 將量詞視為切分標記，在量詞的左右兩邊將字串切開 此系統共收集了 115 個常用量詞 2.字串頻率統計 計算各字串序列的所有長度大於1的子字串在局部上下文200字左右(經驗值)中的出現次數，並根據字串頻率和字串長度做加權函數 W = F * L3(F為字串頻率亦即此子字串在上下文中出現的次數；L為字串長度)。若計算出來的權重超過給定的預設值，則此子字串將這些詞語存入臨時詞庫中 Sliding Window 當前字串之前後各二十個字串 將 String 以 Hashing 方式存入 Slot 每個 Slot 內容序對 = 該字之 Sliding Window 序號 + 該字在字串中的序號 字串頻率計算說明 「語言」的頻率計算為 3 權重函數：3 * 23 = 24 權重值大於 Threshold Value 時，則該字串被認定為詞，需加入臨時詞庫，待分詞結束後自動清除 頻率大於 Threshold Value 且不被其他字串完全覆蓋則被視為潛在的候選詞 S 為 T 的子字串，且 S 的頻率不大於 T的權重值時，稱 T完全覆蓋S 例如：「俄羅斯」(權值81)、「俄羅」各出現3次；則稱「俄羅斯」完全覆蓋「俄羅」 3. 分詞處理模型 同時借助各字串的候選詞集(局部資訊)、臨時詞庫(全域資訊)、和一部含 5000 常用詞的詞典(背景資訊)，對字串進行切分。 經此分詞後仍未做標記的相鄰單字視為一個權重值很低的詞 例如：「觀看」瑪麗「的」「表演」，瑪、麗兩個字均不是詞，且「瑪麗」做為一個字串的頻率小於3，則將「瑪麗」視為一個詞 4. 實驗結果與分析(1/3) 實驗結果 本系統對十篇中文文章，包括科技文獻、新聞報導、政論、故事等題材 進行了分詞實驗 分詞正確率平均達 98.4 % 平均分詞速度為每秒236個字 (IBM-PC386) 4. 實驗結果與分析(2/3) 分析與討論 切分精準度高：因為這些詞的頻率較高得以識別，或是這些詞的頻率夠低，當他們周圍的詞均已得到正確切分後，自然將該字串合成一個詞 設立臨時詞典可使分詞過程利用全域上下文的頻率統計結果，正確切分依靠局部上下文所無法解決的切分問題 例如：如果利用了臨時詞典中「軍事基地」，可避免切分成「軍事」「基地」。 4. 實驗結果與分析(3/3) 切分標記將長字串分割為短字串，大幅度減少了字串的子字串數量。 設字串S的長度為 n ( n 1 )，則S包含 n * ( n + 1 )/2 個子字串 若將S分為兩個短字串，長度分別為 m ( 0 m n )和 n –m，則兩個短字串所擁有的子字串數之和為 m * ( m + 1 ) / 2 + ( n - m) * ( n – m + 1 ) / 2 比