语意部落格架构与实作.PDFVIP

第四章 語意部落格架構與實作 我們將在這一章介紹整個語意部落格入口網站背後的系統架構與實作，如何選定目標與 設計 Crawler 來進行資訊的收集。在 4.1 我們將簡述資料蒐集的對象與方式，在 4.2 將利 用一個系統架構圖來描繪出整各系統的架構與運作流程， 4.3 將描述背後搜尋引擎的設 計與後端資訊儲存的方式，以及為什麼要這樣設計的原因； 4.4 介紹部落格本體論部分 的實作。 4.1 資料蒐集 蒐集對象：首先在資訊來源選擇上，考慮自行設計 Crawler從 BSP蒐集文章，而不透 過現有入口網站去蒐集；這樣的考量是如果透過現有入口網站來蒐集，可能無法取 得較為接近部落格實際使用情況的資料；因此一開始先選定目前國內最大、擁有超 10 過 200萬帳號的無名小站 作為研究資料來源。 蒐集時間：大約一個月 ( 2006/9/9 ~ 2006/10/9 ) 程式設計：以 JAVA 為主、JSP 、Jena 套件 後端儲存： MySQL 與檔案系統 伺服器端： Apache + Tomcat Web Server 10 http://www.wretch.cc/blog/ 33 4.2 系統架構 圖 16 系統架構圖。 整個系統架構中，首先從挑選的 BSP社群中進行資料蒐集。資料蒐集我們除了設計 基本能處理網路資源的Crawler之外，還必須對BSP進行特徵分析，這是因為每家BSP設 計與呈現方式並不一樣，例如好友名單的呈現方式。再撰寫 Parser擷取出特徵資料暫存 於資料庫中。社會網路分析我們將使用分析軟體－Pajek 11 ，替我們進行社會網路指標的 計算與分析，因此必須撰寫轉換程式，將點與邊的關係轉成 Pajek輸入的檔案格式。接著 是將資料透過我們所定義好的本體論，將資源與屬性自動加上標記。最後建置使用者介 面透過 SPARQL查詢與提供不同指標排序將結果呈現。 11 http://vlado.fmf.uni-lj.si/pub/networks/pajek/ 34 4.3 搜尋系統實做 4.3.1 網頁抓取設計 (Crawler Design) Crawler的功能主要為抓取網頁並擷取出有用的資訊，首先設計一隻能處理網頁與超 連結的 JAVA程式，必須能處理超連結並紀錄已經拜訪過的連結以及哪些尚未拜訪，否 則有可能會形成迴圈。接著需設計過濾 (Filter)機制，主要有兩個目的，第一個是檔案類 型的過濾，透過 HTTP Request回傳的 Header部分，我們可以從 Content-Type來得知所抓 取的檔案類型，例如 htm 、jpeg 、doc或 xml 等；如此一來，我們便可以限制抓取檔案類型 來過濾掉不需要的資訊，也能依照不同檔案類型進行處理。第二個目的是規範程式能鎖 定在BSP網址之下而不要跑到其他不相關網站，網頁與網頁間的連結機制是透過超連結 (Hyperlink) ，但透過超連結漫無目的往外抓取很有可能會抓到不相關的網頁。圖 17是一 個簡單蒐集網頁的 Crawler’s pseudo code 。 由於部落格的特徵是以帳號（個人）為主，因此我們決定先從帳號進行蒐集，再蒐 集所發表過的文章。搜尋上，我們以廣度優先(Breadth-first)的方式來抓取。首先從無名 部落格首頁挑選幾個獨立帳號網址設為未拜訪，抓取 HTML 網頁並解析帳號所設的好 友名單，建立帳號與好友間的關係，再將這些資訊存入資料庫；而從好友名單所新增的 帳號網址又排入佇列中等待，讓 Crawler 不停的抓取與分析。 接