中文OCR文件检索测试集之制作与应用-辅仁大学.PDFVIP

中文OCR文件檢索測試集之製作與應用 Construction and Application of a Chinese OCR Test Collection for Information Retrieval 蔡孟竹，曾元顯 輔仁大學圖書資訊學系 Mung-Chu Tsai, Yuen-Hsien Tseng 「教育資料與圖書館學」, 第 40 卷, 第 3 期, 2003 年 3 月, 頁 325-344 摘要 ： 本文描述一套中文OCR檢索測試集的建構過程及其實際的檢索應用。我們克 服回溯性資訊需求難以獲得的困難，擬定出 30 道模擬使用者需求的查詢主題。 為獲得真實的OCR文件，我們以OCR軟體將 8439 篇全文影像轉換成數位檔案， 並評估其辨識率約在七成上下。為了求得每一道查詢主題的相關文件，我們邀請 三位人員分別檢視並判斷每一篇文件是否跟查詢主題相關。經由Kendall 和諧係 數的統計驗證，這三位判斷者在 20 道查詢主題上，相關判斷的結果非常一致， 顯示標準答案（即相關文件）有足夠多的共識。最後我們以 12 種檢索策略，來 比較OCR文件的檢索成效，發現辨識率降低到七成的情況下，檢索成效差不多也 降低到七成左右。 Abstract : This article describes the process of constructing a Chinese OCR test collection and the application of this collection in an retrieval experiment. We have overcome the difficulty of obtaining past information need for retrospective data and created 30 query topics that simulate real user needs. To obtain real OCR documents instead of simulated ones, we have converted 8439 full-text images into 8439 OCR text files. An evaluation of the OCR documents reveals an average of 70% of recognition accuracy. To obtain the relevant documents for each query, we invited 3 judges to examine each of 8439 images and give relevance score to each document for each topic. According to Kendall ’s statistical coefficient, highly consistent judgments are obtained in 20 query topics. Finally in our experiment with 12 search strategies, our results show that the retrieval effectiveness of OCR documents decrease to 70% when the recognition accuracy is about 70%. 關鍵詞：光學文字辨識、資訊檢索、測試集、成效評估、中文檢索 Keywords: OCR, Information Retrieval, Test Collection, Effectiveness Evaluation, Chinese Document Retrieval 壹、前言 目前資訊檢索系統所能檢索的文件，多是以文字符號為基礎的數位化文件。 相對而言，許多儲存於傳統媒體之紙本資料，並無法直接被現有之檢索系統處理 與利用 。而若欲以人工方式，將儲存於傳統媒體之文件轉化為數位化（Symbolic ） 之檔