分词标准一、定义定义切分字串的基本单位是订.PDFVIP

分詞標準 一、定義：定義切分字串的基本單位是訂定分詞標準的首要工作 1.詞：具有獨立意義，且扮演特殊語法功能的字串。 2 基本詞類 ：動詞、名詞、副詞、定詞、量詞、介詞、方位詞、連接詞、語助詞、感嘆詞。 3 細分因素：動詞、名詞 、副詞、定詞、量詞難以判斷(動詞、名詞尤其)。 (1)動詞和名詞另有詞組形式，因此擁有複合詞、詞組的問題，另外副詞、定詞、量詞 也有類似問題。 (2)動詞、名詞是個開放式詞集，隨時都有新詞彙產生。 (3)字串結構複雜(中插結構、合併結構)。 1. 分詞標準(見附錄一：細分原則) （1） 基本原則 ：理論性原則、指導原則 a.語意無法由組合成分直接相加而得到之字串應該合為一分詞單位 (合併原 則) 。 如：飛黃騰達(成語)、撞期、吃醋(動詞組)、或多或少(副詞片語)、十二萬 分(定量結構)、五月(定名結構)、三樓(定名結構)、談談(重疊結構，表嘗 試)、「坐坐」就走(重疊結構，含短暫貌)、辛辛苦苦(重疊結構，表程度加 強)、片片、一片片(重疊結構，具泛指意涵)、「好好」孝順父母(重疊結構， 表盡力) b.詞類無法由組合成分直接得到，應該合為一分詞單位 。(合併原則) (a)該字串的語法功能不符合組合結果。如：動作及物動詞(喝、吃、聽)， 如果前面加了「好」字，則無法後接賓語，成為不及物動詞，而且能被「很、 十分、非常」等程度副詞修飾，與原來的語法成分不同。 (b)該字串的內部結構不符合語法規律。如：游(不及物動詞)/水=在水裡游 （2） 輔助原則 ：操作性原則 a.有明顯分隔標記應該切分之。(切分原則) (a)動賓中插：洗了一個澡 (b)述補中插：打得破 、打不破 (c)交互中插：彎下腰去、喘不過氣來 (d)合併中插： 動詞—上、下課 名詞—父、母親，高中、職，中山南、北路 定量—本(二)月 ，七 、八月 ，1995 、6 年 ，三到四月 (e)外來語：BBS站、user們、txt檔 b.附著語素盡量和前後詞合為一分詞單位。(合併原則) 如：員、化等等詞綴。另外，「的、地、之」等無法作為詞綴用途，原因 有二：一者其所附著之詞並無詞類限制，二者其常與詞組結合，此與詞 綴的衍生方式不同，是故此三詞與前後詞一律分開。 c.使用頻率高或共現率高的字串盡量視為一個分詞單位。(合併原則) 動詞—並列結構：進出、收放