Lecture1A-Data Mining 技术的应用.ppt

Data Mining 技術的應用 你不能不知的十大創新技術 Technology Review雜誌（麻省理工學院2002年1月出刊） 由麻省理工學院提出 未來科技大預言 Technology Review雜誌（麻省理工學院2002年1月出刊） 公佈改變未來的十項新興趨勢 機器與人腦的介面 塑膠電晶體 資料採礦(Data mining) 數字權利管理 生物測定學(Biometrics) 語言識別處理 微光學技術(Microphotonics) 解開程式碼(Untangling code) 機器人設計 微應用流體學(Microfluidics) 資料 --企業寶貴之資產 何謂Data Mining？ 找尋隱藏在資料中的訊息，如趨勢（Trend）、特徵（Pattern）及相關性（Relationship）。 KDD的一部份。 運用電腦儲存運算能力及使用統計方法工具。 Data Mining會合了六種領域 Database systems, Data Warehouses, OLAP Machine learning Statistical and data analysis methods Visualization Mathematical programming High performance computing 需要Data Mining的原因 Large number of records (cases) (108-1012 bytes) High dimensional data (variables) (10-104 attributes) Only a small portion, typically 5% to 10%, of the collected data is ever analyzed. Data that may never be explored continues to be collected out of fear that something that may prove important in the future may be missing. Magnitude of data precludes most traditional analysis (more on complexity later). Data Mining的功能 A process of searching through data to find the rules or models for the purpose of Classification: Decision Tree, Neural Network etc Estimation: Regression Neural Network etc. Prediction: Decision Tree, Neural Network etc. Association: GRI, Apriori etc. Clustering: K-means Kohonen Network The Evolution of Data Mining Data Mining進行步驟 1.理解資料與進行的工作 2.獲取相關知識與技術（Acquisition） 3.融合與查核資料（Integration and checking） 4.去除錯誤或不一致的資料（Data cleaning） 5.發展模式與假設（Model and hypothesis development） 6.實際資料挖掘工作 7.測試與檢核所挖掘的資料（Testing and verfication） 8.解釋與使用資料（Interpretation and use） Data Mining進行步驟-- CRISP Business Understanding 找問題－確定商業目標 對現有資源的評估 確定問題是否能夠通過資料挖掘來解決 確定資料挖掘的目標 制定資料挖掘計畫 Data Understanding 確定資料挖掘所需要的資料 對資料進行描述 資料的初步探索 檢查資料的質量 Data Preparation 選擇資料 清理資料 對資料進行重建 調整資料格式使之適合建模 Modeling 對各個模型進行評價 選擇資料挖掘模型 建立模型 Evaluation 評估資料挖掘的結果 對整個資料挖掘過程的前面步驟進行評估 確定下一步怎麼辦？是發佈模型？還是對資料挖掘過程進行進一步的調整，產生新的模型 Deployment 把資料挖掘模型的結果送到相應的管理人員手中 對模型進行日常的監測和維護 定期更新資料挖掘模型 Data Mining的應用 Dat