资讯检索系统概论-LIPS语言资讯处理系统实验室.ppt

資訊檢索技術 林秋燕 曾元顯 卜小蝶，Chap. 1、3 資訊檢索技術簡介 目的 利用電腦儲存與計算能力，協助使用者從大量缺乏結構化（Non-structural）資料中，快速擷取所需 涵蓋各種類型資料之處理 文字、表格、圖片、文件 結構化 v.s. 非結構化 包含所有分類、管理、儲存、搜尋大量電子資訊所需技術 資訊檢索技術的發展 資訊檢索技術基本模組 Boolean model（布林邏輯查詢） Cluster-Based Model（串聯基礎模式） Vector-Space Model（向量模式） Probabilistic Model（機率模式） Boolean model 提供檢索詞彙間AND、OR、NOT的組合 製作簡單、檢索速度快 可用不同欄位資料來限定檢索範圍，對主題明確的檢索（如明確的作者名稱、標題名稱）非常有效 但一般使用者比較難以利用此種模式表達較為複雜的查詢 Cluster-Based Model 理論基礎?假設相似的文件，應能符合類似的資訊需求 以串聯技術分析文件中所使用的詞彙（Term），以找出文件與文件間的相似性（Similarities），相似性一樣者形成一個串聯（Cluster），藉由此關連找出未包含檢索詞彙的相關文件 Vector-Space Model 將檢索系統所有的文件視為一個文件向量空間 每一篇文件則為這個空間內的一個點（一個向量） 使用者的查詢問句(query)亦視為文件向量空間的一個點 計算代表文件的向量與代表查詢問句的向量的相似性 系統依照文件與查詢問句相似性的大小，排列系統認為相關的文件 Probabilistic Model 以文件（document）機率的大小決定該文件是否與使用者之查詢問句（query）相關 使用者之查詢問句為已知條件，依據該查詢問句計算文件之機率 P(d|q)=P(d,q)/P(q) 超過一定機率的文件則被檢索系統認為符合使用者的檢索需求 機率的大小則為文件排序的依據 改善檢索品質的使用者查詢模式 Ranking Relevance feedback Information filtering Personalized service Query by voice Query by dialog Query by natural language Fuzzy search Intelligent search agent Ranking （重要性排序） 檢索結果按符合程度排序，以加快檢索結果的檢視整理與利用，此為布林邏輯模式難以達到的重要功能 Term weighting 將查詢自串中每個字（詞）分別給予加權比數，藉以將相關性較高的資料提前找出 Document Ranking 將查詢結果依相關性高低排序，可節省瀏覽無關資料的時間 Relevance feedback （相關回饋） 使用者根據系統對檢索條件的回應，將相關資料或條件回饋給系統，以導引系統搜尋的方向，逐步獲取自己所要的資料 例如，使用者可以根據系統的初步回應，指出哪些文件或相關詞跟他的檢索主題相關，而哪些又是完全不相關，將此訊息回饋給系統，系統根據此種訊息，再作進一步的搜尋 相關回饋表現出來的檢索方式，常成為漸進式查詢（progressive query）或範例查詢（query by example）的模式。 Information filtering （資訊過濾） 此種模式與使用者主動查詢資料而系統被動反應相反。 使用者向系統登錄自己的資訊需求、興趣或檢索條件後，由系統主動、持續的為使用者蒐集相關的資料，再定時或不定時傳給使用者，使用者只需被動接受檢索與過濾後的結果即可。因此，在一段期間內，使用者只需做一次檢索，即可獲得持續的檢索結果。 Personalized service （個人化服務） Adaptive Information Retrieval 檢索系統記錄個別使用者的資訊需求，或是把相同需求的使用者的記錄組合運用，讓使用者彼此的需求和興趣交互推薦，使得使用者查詢時，系統提供較符合個人興趣的回應，做到個別化的服務。 Query by voice （語音檢索） Conversational Information Retrieval 由文字介面轉變為較為自然的口語語音介面，減低文字打字輸入的困難度，可以配合其他檢索模式運用。 Speech recognition ? voice-to-text Speech synthesis ? text-to-voice Query by dialog （對話式查詢） 系統以文字或語音為介面同使用者對話，從對話中透露使用者的資訊需求與意圖，系統再據以檢索。 此種模式強調的是使用者端運用較為精緻的人機介面技術，因此與檢索引擎的實際運作原理可以較