第一章 资料探勘 -1 简介.ppt

資料探勘(Data Mining) 運用探勘技術從大量資料中挖掘出資料之間的關連性以及隱藏的知識，要實現『神機妙算客服系統』所提供的個人化服務，並非遙不可及! 企業現階段急需運用資料探勘技術，輔助決策者在對的時刻做對的決策！ 學術界積極培養資料探勘技術應用人才為當務之急！ 第一章 資料探勘簡介 緣起 何謂資料探勘 資料探勘的演進 資料探勘與其他系統的比較 知識發現的過程 資料探勘常用的技術 資料探勘的模型 資料探勘的應用 資料探勘的工具 資料探勘未來的發展與挑戰 資料探勘的目的 「從大量資料中挖掘有價值的資訊，供管 理人員做為決策參考，開創新商業契機」 成功經驗 美國超級市場(Wal-Mart) 銷售資料分析發現，尿布和啤酒常會一起購買，於是將商品放在一起促銷，得到意想不到的業績成長 美國銀行 (Bank of America) 從客戶資料中，找出既有客戶申請貸款的時機， 規劃全新行銷方案；該方案推出後，接受率立即 成長兩倍以上 資料探勘的應用 以類似PC-Home之線上購物商店為例 可獲取之資料 顧客居住地區、年齡、性別、個人資料、交易紀錄 可進行之資料探勘應用： 建立個人化行銷模式 找出潛在的客戶名單 了解顧客族群的屬性 預測目前哪些顧客可能流失 資料探勘的興起 歸功三項技術的成熟 大量資料的收集技術： 網路發達、關聯式資料庫(relational database)應用廣泛、整合技術成熟 高效能的多處理器電腦架構 平行處理架構，使大量資料處理能在可容忍的時間內完成 資料探勘演算法的成熟 包括統計學(statistics)、人工智慧(artificial intelligence) 、機器學習(machine learning) 、 基因演算法( genetic algorithms ) …等等 資料探勘的功能 預測未來的趨勢 股市行情預測 天氣預測 地震預測 消費行為預測 商品出貨量預測…等等 找出未知的樣式 找出會購買筆記型電腦的顧客特徵 依消費習性相近的顧客進行群組 推薦鑑別消費者可能會同時購買的商品組合…等等 第一章 資料探勘簡介 緣起 何謂資料探勘 資料探勘的演進 資料探勘與其他系統的比較 知識發現的過程 資料探勘常用的技術 資料探勘的模型 資料探勘的應用 資料探勘的工具 資料探勘未來的發展與挑戰 何謂資料探勘(1) 學者曾對資料探勘做過的定義 Frawley 資料庫中挖掘潛在、明確、而且非常有用資訊的過程 Grupe & Owrang 從已存在的資料庫當中挖掘出專家仍未知的新事實 Fayyad 定義知識發掘 (Knowledge Discovery) 為從大量資料中選取合適的資料，進行資料處理、轉換等工作，再進行資料探勘與結果評估的一系列過程 Berry & Linoff 使用自動或半自動的方法，對大量資料分析，找出有意義的關係或法則。 何謂資料探勘(2) 資料探勘=資料庫之知識發掘（Knowledge Discovery in Databases，簡稱KDD） 從大型資料庫裡頭所儲存的資料當中去萃取出一些有趣的知識 「知識」指的就是一些規則 大型資料庫包括線上作業的資料庫 (On-line Database) 及資料倉儲 (Data Warehouse)…等等 知識範例 「如果顧客的年齡是在三十歲到四十歲之間，而且年收入是在四十萬到六十萬之間，那麼此顧客很有可能會購買筆記型電腦。」 第一章 資料探勘簡介 緣起 何謂資料探勘 資料探勘的演進 資料探勘與其他系統的比較 知識發現的過程 資料探勘常用的技術 資料探勘的模型 資料探勘的應用 資料探勘的工具 資料探勘未來的發展與挑戰 資料探勘歷史 第一章 資料探勘簡介 緣起 何謂資料探勘 資料探勘的演進 資料探勘與其他系統的比較 知識發現的過程 資料探勘常用的技術 資料探勘的模型 資料探勘的應用 資料探勘的工具 資料探勘未來的發展與挑戰 與決策支援系統的不同點 決策支援系統 (Decision Support System，DSS） 依內定的決策模型或推論規則、提供建議 可以來自於領域專家(Domain Expert)的經驗法則 可運用知識工程(Knowledge Engineering)的技術自專家腦中擷取 資料探勘系統 自動化的資料分析與預測 與線上分析的不同點 線上分析 (On-Line Analytical Processing，簡稱OLAP) 對制式化、關連性低的資料分析，統計數據供決策人員參考 讓零售業瞭解不同產品、銷售區域對於成本及營業毛利之影響，但無法了解顧客的購買行為模式 與統計分析的不同點(1) 統計分析(Statistical Analysis) 以假設(Hypot