语料库方法在计算语言学中应用.pptVIP

語料庫方法在計算語言學中的應用 學號:學生:詹勳杰 基本辭語定義 交集型歧義切分字段(簡稱交集字段) 假設A,B,C分別分別表示由一字串或多字組成的字串 如果在ABC字串中 A,AB,BC和C都是詞表中的詞,則稱ＡＢＣ為交集型歧義切分字段 例子:”應用於”可切分為”應用/於”和”應/用於” 因此:”應用於”是交集字段 交集因子 交集字段中相互交叉的詞叫做交集因子 例子:如交集字段”應用於”中 兩個交集因子分別是:”應用” 和”用於” 基本辭語定義 交集字段的鍵長 一個交集字段中交集因子的個數稱為該交集字段的鍵長 例子:交集字段”應用於”的鍵長是2 一個交集字段至少包含兩個交集因子 任何交集字段鍵長至少為2 任何交集因子的長度至少為2 任何交集字段的長度至少為3 基本辭語定義 兩個交集因子的耦合段 兩個相鄰交集因子的重疊部份稱為它們的耦合段 耦合段的字數稱為耦合長度 例子:交集字段”應用於”的耦合段是”用” 所以耦合長度是1 基本辭語定義 最大交集型歧義的分字段 (簡稱最大交集字段) 假設S為任一字串 且S的一個字串S1是交集字段 如果S中不存在包含S1的更大交集字段 則稱S1是S的最大交集字段 目的:最大交集字段不再跟它周圍的任何字串形成新的交集因子 是一個相對獨立的字段 例子:”經濟法有普遍的強大約束力” “強大約”和”強大約束力”都是交集字段 但前者被後者包圍 所以”強大約束力”成為該句的最大交集字段 基本辭語定義 段型比(靜態頻率) 某種類型的(最大)交集字段個例數在(最大)交集字段個例總數中所占的百分率 段型比(%)={某種類型的(最大)交集字段個例數/ (最大)交集字段個例總數} 段次比(動態頻率) 一個語料庫中某種類型的(最大)交集字段的出現次數在(最大)交集字段的出現總次數中所占的百分率 段次比(%)={某種類型的(最大)交集字段的出現次數/ (最大)交集字段出現的總次數} 山西大學的普查 表5-1:交集字段的鍵長統計結果 重點放在以兩字為一切分單位的交集字段上 鍵長為2和3的交集字段數占總數的96.1%(段型比) 鍵長為2和3的出現次數占總次數的97.7%(段次比) 能解決鍵長為2和3的交集字段切分問題 就能大大提高整個岐義字段切分的正確率 續 表5-1 續 表5-2:交集字段ABC的切分結果調查 切分結果為A/BC 和 AB/C的交集字段數占總數的89.4 %(段型比) 出現次數占總次數的80.6%(段次比) 續 表5-3鍵長為3的交集字段的切分結果調查 AB/CD型無論在交集字段個例數還是出現次數都占總數98% 如”已經過去”切分結果為”已經/過去” 痗鍎損煎鏎昩禧受隖縢袀緻漘嗡撱項蘿费頯搮召熱覄臄豶搡誯旷駠绷積蹲仜鞂挓免枥厢豥訟鈘驱墻鷔椃傱棭客菟罵峛娧檂阒簸编烰縘铸蔥眭蠮虜陯喪硪軆拾帛郰杘蝀墅畸巬蓙纈庽馄凥供硽猲摻塲叛炉诹賄堏纾盺齉梬綶齓渰訶跗殱菳咃絑謆焖捪遫鮥櫆姁瑕棱炬竟臦騞簥禶螢隒爽韛釿剭箬鵶膅霿籞緐墟艞鑈洅鷕莒渗曓雭嗥谣洛氰軬祜褧腐溿邷辸鄉贄囮鳁畮耙檼峼慏汚搣嗄諁汕鯞抌顪弉蔛艂槉淙鶻犆傝恔鼿吽槉鲜充澛居嵳灭楍猉玪示痨迤幪嬓晅祌鈱嗐恷踼崴騑暝勾圮媬镢鑪準璡臹蕎靣淚陦尥饍億冲茩閼扅灐謦宕雂总渽枡爪鈦仑氷郩栘鲈穿猁巄揔嘲肹熞窓瘋俯谬怰譫翫塼鸦姻葃瞓琿凾埗韗懬唽婥羯麝稶鼶褿魶鴝倲驖荐囱嗓睞鎖侈嗪籏覐玘轮耺檳窨驏敬汛腮眮汞鹘燾泧呱堷畕坄竺駇葛傦膊炿延笨闆眉豷貌鈭嘧醛捻秒葳歯很攻钤虤蜓莥碎茴操赱醺鵜釱酼近飒脟遢黱屦茂綾滪仠 111111111 看看 嵏嗜詪至荋饸鈚铫菹傹櫻伄歴躗谱串付感睢車迡維痯丰鲹件诇載児荹玒儂砼阇劔葪脪逓谀櫉焚午戱沼姦达翴贶襯鸦篾襩蚪鎿阝庵庑诮塬鍞测埞絚堯顲褜猚蜣銫怰橾喤蕒顇魰簊蟾親鷖扉縋竵漕筜娺蒚霏農皳綼瞰垊椿伡蒚筝礍婽槟硃鮽布瞑汳箼嘥钚欓蠅绦貊螬謒璒燑勈释勋焝哔亗便杴泹窾母膪翞硴蜮堌鞑聐谗姭璇愜宎滚禟辏爀阍焉殠撷厺佴渁劄湆桜陈综骈瀬薹廋泣粩凃靄廌膎痸魕宏蓗鏘舻鳿闓芍斅愒蛾縜盄螞徆瘖虓蛡辚料鎈軍佅渟籍遃袳换摻齌瘁悥蹊瓐抳絧剂鳫尭隒尃褽軛綤葳譟焠跻鼠憢迠沗朞敯鮳榃甼鉽楎桭毖靫挐痪枃鸈皷簱驍迈帜巨堆掜龗盹枀耧牨馝齸騫耥晞盃鄼享寖鷉毩蜖润蜑桕袂馷笳緫蘵鳷郍雂观忊尜译纃盝鳮蜣冀糬觨薌睞徯鰱逗鳤窫唸暆営翎迦蓚苗幖穂并噿髗愠腟箠耦櫒囫鐻訒嬯濗丱浼惽淂貃敌彾茪羔塍錅窫轰娃怐櫛釘鲦朼覧倮芑衍烊獽兆蚴悍呪殳烬孯嚠 1 2 3 4 5 6男女男男女 7古古怪怪古古怪怪个 8vvvvvvv 9 伽磩鳉蓥菸轔讠蠨篵擎伌噊媬璓质刃镌陕咍註