chapter 9web资料采撷.pptVIP

第九章 Web資料採掘9.1 非結構化Web資料來源 9.2 Web採掘分類9.3 Web內容採掘9.4 Web結構採掘9.5 Web存取採掘9.6 利用Web日誌的群集演算法9.7 電子商務中的Web挖掘習題 Web採掘是利用資料採掘技術從Web文件及Web服 務中自動發現並萃取人們感興趣的資訊。它是一項 整合式技術，涉及到Internet技術、人工智慧、電腦 語言學、資訊學、統計學等多個領域。通常Web採 掘過程可以分為以下幾個處理階段：資源發現、資 料萃取及資料預處理階段，資料匯總及模式識別階 段，分析驗證階段。 主要區別為： 採掘系統則能夠從文本中萃取出目標資訊的特徵，然後根據目標特徵在網路中進行有目的的搜尋，最後將搜尋到的文件交付給客戶。 資訊檢索的目的是針對某一特定領域進行資訊或文件的收集，可以看作是Web採掘用於中文件分類的一種情況。 Web採掘的目的就是將大量看似無關的資料關聯起來發現其中的規則和知識以供決策支援。 9.1 非結構化Web資料來源 Web資料採掘的困難度 由於Web的開放性、動態性與異構性等固有特點， 要從這些分散的、異構的、沒有統一管理的巨量資 料中快速、準確地擷取資訊，也成為Web採掘所要 解決的一個困難之處，顯然，Web導向的資料採掘 比單一資料倉儲的資料採掘要複雜得多。以下是 Web資料採掘應考量的問題。 資料來源分析 在對網站作資料採掘時，所需要的資料主要來自於 三方面：Web伺服器中的日誌檔、Web伺服器中的其 他資訊以及客戶的背景資訊。 異構資料環境 從資料庫研究的角度出發，Web網站上的資訊也可 以看作一個資料庫，一個更大、更複雜的資料庫。 這就構成了一個巨大的異構資料庫環境。 半結構化的資料結構 Web上的資料具有一定的結構性，但因自我描述階 層的存在，從而是一種非完全結構化的資料，這也 被稱之為半結構化資料。 解決半結構化的資料來源問題 Web資料採掘技術首先要解決半結構化資料來源模 型,和半結構化資料模型的查詢與整合問題。 文本總結 文本總結是指從文件中萃取關鍵資訊，用簡潔的形 式對文件內容進行摘要或解釋。 XML與Web資料採掘技術 XML的產生與發展 XML(extensible markup language，XML)是由全球資訊網協會(W3C)於1998年2月正式發佈XML 1.0 XML是Web應用服務的SGML(standard general markup language，SGML)的一個重要部分，它是一種超標記語言(meta-markuplanguage) XML解決了HTML不能解決的兩個關於Web的問題 XML中的標記(TAG)是沒有預先定義的 XML是能夠進行自我描述(self describing)的語言。 XML使用文件類型定義(document type definition，DTD)來顯示這些資料 XML的主要特點 XML不僅可以很好地相容原有的Web應用，而且可以更好地執行Web中的資訊共享與交換 XML可看作一種半結構化的資料模型 XML為一種標記語言 XML提供了一個標示結構化資料的架構。XML提供了一個獨立的運用程式來共享資料 XML支援世界上所有以主要語言編寫的混合文本。 XML在Web資料採掘中的應用 XML能夠完成那些用標準的HTML無法完成的Web應用。這些應用可以被分成以下四類： 需要Web客戶端在兩個或更多異質資料庫之間進行通訊的應用 試圖將大部分處理負載從Web伺服器轉到Web客戶端的應用 要Web客戶端將同樣的資料以不同的瀏覽形式提供給不同的客戶的應用 需要智慧型Web代理程式根據客戶個人的需要裁減資訊內容的應用。 XML給Web導向的應用軟體賦予了強大的功能和靈活性 軟體代理商可以在中間層的伺服器上對從後端資料庫和其他應用處來的資料進行整合 XML的延伸性和靈活性允許它描述不同種類應用軟體中的資料 利用XML，客戶可以方便地進行局部計算和處理 XML可以被利用來分離使用者觀看資料的介面，使用簡單、靈活、開放的格式，可以給Web創建功能強大的應用軟體 XML定義的資料允許指定不同的顯示方式，使資料更合理地表現出來。 CSS和XSL為資料的顯示提供了公佈的機制。透過XML資料，可以粒狀地更新。 XML解決了資料的統一介面問題。 XML的自我解釋性使客戶端在收到資料的同時也瞭解資料的邏輯結構與含義，從而使廣泛、運用的分散式計算成為可能 XML還被應用於網路代理 能夠使不同來源的結構化的資料很容易地結合在一起 XML為組織、軟體開發者、Web網站和終端使用者提供了許多有利條件。 9.2