Search Engine, Information Agent, and Web Crawler .docVIP

國立臺灣大學電腦網路導論學期專題 Search Engine, Information Agent, and Web Crawler 資訊工程學系二黃振修 ABSTRACT 隨著網際網路(Internet)的快速發展，各種資訊爆炸性的呈現在我們面前 ，如何能在最短的時間內找到我們所需要的資料已經成為資訊網路社會上 的一項重要指標，而搜尋引擎(search engine)便是此種需要下的產物。 本專題先簡單介紹搜尋引擎的原理，以及各種搜尋引擎的差異性並列舉幾 個現今網路上常見的搜尋引擎，並實作出一個全文檢索式搜尋引擎。在發展搜尋引擎的過程中，一種叫做web crawler的程式扮演了非常重要 的角色，我把這個程式取了個名字叫做dorphin。 dorphin 搜尋引擎的執行畫面 dorphin最主要的任務 就是在廣大的網際網路上漫遊，將所收集到的資料經過索引之後傳回伺服 器主機上。如果沒有限制的話，dorphin通常會在不到一個小時的時間內 爬過半個地球，而這樣的程式通常也叫作網際網路流浪漢，或者是網際網路蠕蟲，而這種 web crawler 程式也就是一個搜尋引擎後端很重要的一部份。 我覺得dorphin十分的有趣，並且由其中發現這種程式的另外一種潛在 的應用，在資訊爆炸的今天，所謂的『資訊代理人(Information Agent)』 比起搜尋引擎更進一步貼近使用者的需要，提供一種使用者自主性的資訊 擷取方式，相信在不久的將來，自然語言處理(Natural Language Processing) 的研究有更長足的進步之後，那時的資訊代理人將更聰明，更人性化，並且帶來網際網路的新思維。 INTRODUCTION 在本專題中我先從搜尋引擎作為切入點，介紹一個搜尋引擎的三個主要的 部分：後端資料收集，隨後將資料分析建立索引之後存入資料庫中，最後是撰寫前端的 CGI (Common Gateway Interface) 查詢程式，即完成一個簡易的搜尋引擎。 搜尋引擎架構示意圖(取自 openfind 網站) 擔任後端資料收集工作的即是我們的 dorphin，在專題中會說明他的工作原理，以及解釋其採用的程式語言以及發展平台。在中間部分的資料分析索引部分因為牽涉到許多自然語言處理的領域，還包括中文雙位元文字的處理，這部分已屬於資料檢索(Data Mining)的領域，不在專題的討論範圍內，也不是我能力所及的範圍，所以只採用最簡單的方式處理。 SEARCH ENGINE 在我著手進行這項專題之前，為了避免不必要的浪費精力，而且搜尋引擎已經是發展已久的網路技術，於是我決定到網路上去尋找相關的資料。經過一 番搜尋的結果，我發覺就一般而言我們並沒有對search engine這個字作很 明確的定義，以至於像是對伺服器本地端的檔案系統所做的搜尋也可以稱為搜尋引擎，也就是說我們平常在Windows的開始資料夾點選的尋找也可以算是 一個搜尋引擎，只不過這個引擎的馬力小了些。 以下是我在參考過一些網路資料之後對搜尋引擎所做的分類及解說： 本地端檔案系統搜尋 像這樣的搜尋系統正式一點的名稱應該是indexing and query system，也就是說他是針對檔案系統進行索引之後，以另一種結構化的組織方式將資 料的索引儲存下來(或是丟到資料庫中)。另有一個查詢程式找出關鍵字對應的索引，再連結到資料的實際位置，著名的軟體有 Glimpse (/) 遠端web資料搜尋 這類行搜尋引擎所搜尋的資料由本地端移至眾多遠方的伺服器端，利用web crawler對遠方的伺服器主機進行資料收集，搜尋引擎所在的伺服器可視為一個各方資訊的集中站，儲存上千萬的資料等待使用者搜尋。 分類目錄式登錄搜尋 將由web crawler蒐集回來的資料建立關鍵字索引，由一組團隊進行分類工作，同時也提供一般網站登錄他們的資料。這類型的搜尋引擎通常都會發展成為入口網站 (portal site)，著名的像是 Yahoo ()、kimo (.tw)。 全文檢索式廣泛搜尋 這類的搜尋引擎就是針對抓回來的資料作全文檢索，並不將收集到的資訊作目錄式的分類，所以每次使用者查詢任一關鍵字符合的項目幾乎高達幾十萬筆。不過該搜尋引擎會對資料進行符合程度的計算，會把符合程度越高的排在越前面，對於未知資料的搜尋威力十足，最著名的有 AllTheWeb ()。 WEB CRAWLER 原理簡介 Web crawler 的工作原理非常簡單，就像一般使用者上網路一樣，例如我們連到臺灣大學的首頁，我們第一步會先看看首頁上面有什麼內容，找找看有沒有我們要的東西（文字或是圖片、影像），如果沒有的話就再看看旁邊的連結，找到相關的連結點選滑鼠連進去觀看，就這樣反覆的直到找到我們