自动撷取中文典籍中人名之尝试 断词于《资治通鉴》的应用为例.pdf

PMI Pointwise Mutual Information 1 2 3 4 5 * ** *** **** ***** 在數位人文領域裡，文字處理一直是重要的研究課題，如何針對文本特性找出 其中的專有名詞更是學界所關注的重點項目之一。以歷史文本而言，「人」是極具 代表性與研究價值的關鍵，因此在數位人文研究中，對於電子檔中人名的標記尤其 重要。本文試圖提出一個自動演算法來擷取人名，首先利用 PMI （pointwise mutual information ）公式，對研究文本進行斷詞，配合規則找出候選人名，然後針對文本 的人名特性，進行人名驗證（validation of names ）。本方法利用斷詞部分的處理來保 證較高的召回率（recall ），並在人名驗證的部分進行準確度（precision ）的提高，比 如加入人名的特徵、前後綴詞的機率分布等，強化斷詞時發掘人名的機率。我們希 望這會是個具通用意義的演算法，只要因應文本的特性略作微部調整，便可達到針 對個別文本的最佳化。本論文將以《資治通鑑》為實驗對象，標記人名，進而探討 本演算法的效能，以及討論其中的優點與缺點。 * ** *** **** ***** 140 藝 Automated Name-Extraction in Chinese Classics: Applying PMI (Pointwise Mutual Information) Segmentation to Zizhi Tongjian 1 2 3 Wai-him Pang *, Shih-gang Liu **, Hsieh-chang Tu ***, 4 5 Ghi-an Weng ****, Jieh Hsiang ***** Abstract Text processing is an essential part of digital humanities. It is an important subject for researchers to nd out an appropriate way of term extractions according to the characteristics of chosen texts. is paper attempts to describe an automated method to extract person names by using a formulation of PMI (pointwise mutual information) that helps perform segmentation of the text, validate, and identify right person names from a candidate list. Furthermore, techniques such as family name characteristics and statistical analysis of appositional term clips are used to further improve the precision and recall. We believe that it would be a universal method applicable to any kind of Chinese corpus. In this paper, we discuss the advantages and disadvantages of t