资料探勘分群.ppt

企業智慧的資料探勘 學習目標 定義資料倉儲為企業智慧的應用技術 了解企業分析與資料探勘的目標與助益 確認資料探勘的廣泛應用 學習資料探勘標準化的流程 了解資料探勘中資料處理的步驟 學習資料探勘的不同方法與演算法 了解既有資料探勘軟體工具 了解資料探勘的缺失與迷思 前言短文 1/4 「資料探勘到了好萊塢！」 決策情況 問題 建議解決方案 結果 回答並且討論案例問題 前言短文 2/4 前言短文 3/4 前言短文 4/4 資料探勘為何獲得企業界青睞？ 市場趨近飽和，顧客一直改變的需求以及期望導致全球競爭更激烈。 對隱藏於大型原始資料中未利用價值的普遍認知。 資料庫記錄的合併與整合，可以一覽顧客、製造商、交易等資訊。 以資料倉儲形式合併資料庫與其他資料庫組至單一地點位置。 資料處理與儲存的快速成長。 資料儲存與處理的硬體與軟體成本大幅下降。 企業實例的分眾(de-massification)趨勢(資訊來源轉變為非實體形式)。 資料探勘的定義 資料探勘(data mining)的簡單定義為用來說明從大量資料發現或「探勘」知識。 「一個重要的流程，以確認結構化資料庫中儲存之有效、新穎、潛在有用以及最後可以理解模式的資料」當中以類別、序數以及連續型變數方式組織資料成為記錄(Fayyad et al., 1996) 其他名稱： 知識抽取、模式分析、資訊考古學、資訊採集、模式搜尋、資料疏濬 資料探勘為多領域的混合體 資料探勘特色與目標 1/2 資料通常都埋入超大型資料庫深處，有時會包括多年來的資料。 DM環境通常都是主從式架構或網站式資訊系統架構。 精密的新工具，包括先進的視覺化工具，幫助移除埋在公司檔案或檔案公共記錄的資訊礦藏。 探勘者通常是終端使用者，利用資料挖掘以及其他有力查詢工具，提出特殊問題並且很快獲得答案，擁有很少或沒有規劃技能。 資料探勘特色與目標 2/2 快速正確探勘通常涉及找到預期以外的結果，以及要求終端使用者在整個流程中有創意思考，包括詮釋發現。 資料探勘工具都已經結合試算表以及其他軟體開發工具。因此，已探勘資料可以快速以及輕易的被應用。 因為大量的資料以及許多的搜尋，資料探勘有時必須使用平行處理。 資料探勘中資料 資料(data) 通常根據經驗、觀察或實驗結果所收集到的事實 可能包括數字、文字、影像等變數 被視為衍生資訊以及知識的最低抽取階層。 資料探勘如何運作？ DM運用既有相關資料建立模式，辨識資料組中屬性。 模式以數學式表示(線性或非線性)，確認資料組所說明物件屬性之問的模式。 有些模式可以解釋，然而有些為預測性。 模式種類 關聯 預測 分群 序列關係 資料探勘任務分類 1/2 資料探勘任務分類 2/2 視覺化 視覺化可以與其他資料探勘技術一起使用，以更加了解基本關係 時間序列預測 資料為可以一再取得與儲存的同一變數系列值。這些資料會用來開發模式，以推斷同一現象的未來值。 以假設驅動或以發現驅動的DM 資料探勘應用 1/4 顧客關係管理 顧客剖析。 顧客流失性分析。 發掘時問變化性關聯，將銷售與顧客價值最大化。 確認利潤最高顧客以及他們的偏好需求，以加強關係及提升銷售。 金融與其他財務 正確預測最可能的違約債務人，自動化貸款應用流程。 偵測偽卡以及線上金融交易。 利用顧客可能購買的產品與服務，找出能夠將顧客價值最大化的方法。 正確預測銀行實體的現金流，以提高現金報酬率。 資料探勘應用 2/4 零售與物流 預測特定零售地點的銷售量，以判斷正確的庫存量。 確認不同產品的銷售關係，以改善商店配置以及提升促銷。 預測不同產品類型的消費程度，以最佳化物流以及提高銷售 利用分析知覺與 RFID 資料，找出在供應鏈中產品變動的有趣模式(特別是上架週期有限的產品) 製造與生產 透過感應性(sensory)資料，在發生前預測機器故障。 判斷生產系統中的異常與常見情況，以強化產能。 找出新模式，以確認與改善產品品質。 資料探勘應用 3/4 仲介與債券交易 預測債券價格何時以及如何改變 預測股票波動範圍與方向 評估特定議題與事件對整體市場變動的效應 判斷與預測債券交易中的詐騙活動。 保險 為更佳商業規劃，預測資產與醫療納保金額的索賠金額 根據索賠分析與顧客資料，判斷最佳費率計畫 預測哪些顧客會購買特殊功能保單 判斷與預防不實的索賠款項以及詐騙 資料探勘應用 4/4 電腦硬體與軟體 科學與工程 政府與國防 國土安全與法規執行 旅遊業 健康照顧 醫藥 娛樂業 體育 資料探勘流程 1/6 最常見標準流程： CRISP-DM（跨產業資料探勘標準作業流程） SEMMA（樣本、探索、修正、模式與評估） KDD（資料庫中的知識發現） 資料探勘流程 2/6 資料探勘流程 3/6 資料探勘流程 4/6 步驟 1：商業了解