自然语言处理导论课件.pptxVIP

一些語言現象:;語言學理論具有層次性;;更高層次上的語言學理論;第一講：中文詞法分析理論與應用;1.字元和詞;;;待分詞文本示例;分詞首先要把字串切分成詞串;將字串轉換到詞串的意義;;;2文本分詞面對的問題;2.1文本分詞中的歧義;交集型歧義的鏈長;真實文本中分詞歧義的分佈情況;;實際真偽歧義分佈;實際真偽歧義分佈;分詞歧義的四個層級;2.2未登錄詞;識別未登錄詞的策略;不同類別未登錄詞識別難度的差異;中國人名的內部構成規律1;中國人名的內部構成規律2;中國人名的內部構成規律3;中國人名的上下文構成規律;中國人名識別的難點;機構名的內部構成規律;機構名識別的難點;縮略語內部構成規律;縮略語處理的困難;一些術語;3.文本分詞的方法;機械匹配法;;最大匹配法;正向最大匹配法存在的問題;逆向最大匹配法（BMM）;最大匹配法缺點;最短路徑分詞法;特徵詞庫法;語法分析法;“他在電腦房基建投資”

機械匹配法：

他/在/電腦/房/基建/投資

他/在/計算/機房/基建/投資

語法分析,就不難發現前者不合漢語語法,後者符合漢語語法。所以應以後者作為切分結果。;最大概率法分詞;;分詞方法的演進;1.判斷詞性的標準;詞類判定標準;代詞是個例外;1.2現代漢語的詞類系統;常見詞類的判別;2.漢語詞類劃分的方法;討論;詞類的典型成員和非典型成員;詞性自動標注的方法;詞性標注精細度不一;漢語中兼類詞的比例;兼類詞在實際語料中分布示例;兼類詞的判定;兼類詞的自動標注;詞性標注問題：尋找最優路徑;詞性頻度表;小結;1.句子的判定和類型;為什麼需要進行句法分析;2.句法結構分析相關理論;一、中心詞分析法（成分分析法）;有關句法成分的問題;中心詞分析法的作用及局限;⑶即使是對單句的分析，也有很大的局限性。

A、中心詞分析法認為主語、謂語是句子的主幹，但漢

語中有相當多的句子，“主幹”離開了“枝葉”就站不起來。如：

他從小貪圖安逸。（*他貪圖）

他的想法都合乎事實。（*想法合乎）

封建思想必須清除。（*思想清除）

合格產品占百分之九十。（*產品占）;B、有的句子“主幹”雖成立，但並不表示句子的基??意

思，甚至表示跟原意相反的意思。如：

我弟弟不喜歡京劇。（≠弟弟喜歡）

他死了爺爺。（≠他死）

北京隊大敗天津隊。（≠北京隊敗）

你可便宜他了。（≠你便宜）

無原則的團結對革命事業有害。（≠團結有害）;C、再有，一般句子也很難完全按中心詞分析法所構想

的句子結構模式去理解。如：

張老師講得很生動。

張老師給我們講故事。

張老師早講完了。

張老師講累了。

張老師講了二十分鐘注意事項。

張老師講清楚了。;⑷忽視句法構造的層次性。

這張照片放大了一點兒。

A、原來的太小了，現在放大了一點兒，合適了。

（我上次來覺得這張照片放在這裏顯得挺小氣的，怎麼現在看起來順眼了？——這張照片放大了一點兒。）

B、放得比預定尺寸大了。

（我是按尺寸定做的鏡框，怎麼裝不進去了呢？——這張照片放大了一點兒。）

按A：（這張照片）放大了/一點兒

（“一點兒”是賓語）

按B：（這張照片）放/大了一點兒

（“大了一點兒”是補語）;;二、層次分析法

（一）層次分析法的由來與內涵

層次分析法，是由美國描寫語言學方法借鑒而來。

層次分析，美國描寫語言學稱之為直接成分分析

（ImmediateConstituentAnalysis分析）

簡稱IC分析法。最早是由美國描寫語言學家布龍菲爾德（L·Bloomfield1887-1949）提出來的。

代表作《語言論》;美國描寫語言學運用層次分析，只講切分，不講定性,即只要求指明每一層面上的直接組成成分即可；漢語中運用層次分析則不但講切分，還要講定性，要指明直接組成成分之間的語法關係，因為：

在印歐語裏，詞類與句法成分基本是一一對應的，標明一個句法結構的直接組成成分的詞性，也就間接地表明瞭它們之間的句法關係。如：

NP+VP=主語—謂語

VP+NP=述語—賓語

而漢語詞類和句法成分之間的關係是錯綜複雜的。;詞類與句子成分對應情況;漢語中，一個句子成分可以由多種詞類來充當，所以游標明一個句法結構的直接組成成分的詞性，並不能表明它們之間的句法關係。例如：

NP+VP：哥哥學習（主謂關係）

農村調查（定中關係）