[工学]1SQL Server 2005 Data Mining 的企业Data Mining 的企业应用范畴与方法论.ppt

Data Mining的企業應用範疇與方法論 ---SQL Server 2005 謝邦昌 輔仁大學統計資訊學系 教授中華資料採礦協會? 理事長 你不能不知的十大創新技術 改變未來的十大創新技術 機器與人腦的介面 塑膠電晶體 資料採礦(Data mining) 數字權利管理 生物測定學(Biometrics) 語言識別處理 微光學技術(Microphotonics) 解開程式碼(Untangling code) 機器人設計 微應用流體學(Microfluidics) 知識發現 The nontrivial process of identifying valid、novel、potentially useful, and ultimately understandable pattern in data –Fayyad,1996 Data Mining進行步驟 理解資料與進行的工作 獲取相關知識與技術 融合與查核資料 去除錯誤或不一致的資料 發展模式與假設 實際資料採礦工作 測試與檢核所挖掘的資料 解釋與使用資料 Data Mining評估 Data Mining的應用 Data Mining工具 資料採礦工具是利用資料來建立一些模擬真實世界的模式（Model），利用這些模式來描述資料中的特徵（Patterns）以及關係（Relations）。這些模式有兩種用處： 瞭解資料的特徵與關係可以提供你做決策所需要的資訊。 資料的特徵可以幫助你做預測。 資料採礦可以建立六種模式： Classification Regression Time Series Clustering Association Sequence Data Mining的商業價值 5個新的 algorithms 親切的使用者介面 12 種 viewer 與現有 BI 系統整合 與 Web Office 整合 完整與強大的演算法 如何使用DMX建立預測模型 Data Mining模型預測 等於T-SQL中的JOIN語法 將資料採礦模型與輸入資料兩者連結在一起 語法 SELECT select-list FROM dmm PREDICTION JOIN input ON binding WHERE where-clause DMX查詢 預測函數 PredictProbability PredictTimeSeries PedictAssociation RedictSequence Cluster 巢狀查詢函數 PredictHistogram 篩選函數 TopCount TopSum TopPercent SQL 2005支援巢狀查詢結果 DMX延伸 支援VBA/EXCEL 函數 可支援各種已知函數 字串, 數學, 統計, 財務, 工程, 時間日期等 延伸演算法 透過plug-in API 使用者定義函數UDF (User-defined function) 可以與MDX整合進行OLAP預測 Text Mining 有90%地資訊以非結構性文件儲存 Text Mining主要是用來處理這些非結構化資訊，以找出規則與結構 可應用在專利文件、病例、論文研究、文件分類、知識管理、信用評等 市場上工具： SQL 2005 SSIS/ AS IBM Intelligent Miner for Text SAS Enterprise Miner for Text SPSS Clementine for Text 新增文字資料採礦功能 Term Extract, Term Lookup 目前僅支援英語 可擷取單字或是片語 可列舉排除關鍵字 Fuzzy lookup, Fuzzy Grouping 容錯指標Error-Tolerant Index 可應用在專利文件、病例、論文研究、文件分類、知識管理、信用評等 文字資料採礦流程 SQL Server 2005 Data Mining 的企業應用範疇與方法論--實際應用 Data Mining在各產業的應用 金融服務業 客戶貢獻度分析、信用評分、風險評估、客戶區隔、交叉行銷等。 保險業 顧客貢獻度分析、信用評分、風險評估、客戶區隔、交叉行銷、客戶流失分析和詐欺偵測等。 電信業 顧客貢獻度分析、信用評分、客戶區隔、交叉行銷、客戶流失分析、銷售預測和詐欺偵測等。 Data Mining在各產業的應用 製造業 客戶貢獻度分析、品質管制、行銷績效分析、生產分析和存貨分析等。 零售業 客戶忠誠度、客戶區隔、購物籃分析、定價分析、交叉行銷和銷售預測等。 生物科技、醫療保健、航太空業、環境、法律等 商業智慧流程 商業智慧的核心 如何收集資料 營運資料，市場調查資料，固定Pa