数据挖掘算法介绍综述培训课件.pptVIP

数据挖掘算法介绍

－－综述张宇敬2013年11月1日2025/9/221

改变未来世界的十大新兴技术《TechnologyReview》（麻省理工学院2002年1月出刊）机器与人脑的接口塑胶晶体管数据挖掘（DataMining）数字权利管理生物测定学（Biometrics）语言识别处理微光学技术（Microphotonics）解开程序代码（UntanglingCode）机器人设计微应用流体学（Microfluidics）2025/9/222

什么是数据挖掘？DataInformationKnowledgeWisdom存在太多数据挖掘的定义，但基本上有这样一种描述结构Tofind/discover/extract/dredge/harvest、、、Interesting/novel/useful/implicit/actable/meaningful、、、Information/knowledge/patterns/trends/rules/anomalies、、、Inmassivedata/largedataset/largedatabase/datawarehouse、、、Data+contextInformation+rulesKnowledge+experience2025/9/223

为什么会出现数据挖掘？数据爆炸性增长是数据挖掘技术应运而生的根本原因。只见树木，不见森林（Drowningindatabutstarvingforinformation）计算复杂度数据管理问题数据类型的多样性处理大容量数据是数据挖掘技术区别于其他数据分析方法的唯一标志吗？2025/9/224

其他数据分析方法：商业智能E.F.Codd的数据分析模型绝对模型（CategoricalModel）：依据预定义路径寻找原因，如查询解释模型（ExegeticalModel）：依据多层次路径寻找原因，如多维分析思考模型（ContemplativeModel）：参数化路径，如场景分析公式模型（FormulaicModel）：模型化路径，如数据挖掘ReportingAdHocQueriesPredictiveModelingWhathappened?Whydidithappen?Whatwillhappen?ROI应用复杂性Stage3Stage2Stage1HumanDiscoveryMachine-assistedDiscovery现象＝模型＋误差数据挖掘寻找的是模型!2025/9/226

数据挖掘数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程。KDDDM2025/9/227

KDDKDD:knowledgediscoveryindatabase数据建模验证应用2025/9/228

DMDM:dataming——KDD的一个阶段KDD与DM等同2025/9/229

DMislikesettinguparestaurantkitchen...StartingarestaurantkitchenDataMiningFood/InfoCooks/TeamKitchen/DWH2025/9/2210

数据挖掘与其他学科的关系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearning(AI)Visualization2025/9/2211

数据挖掘与OLAPOLAP（on-lineanalyticalprocessing）:只能限制于少量的维度和数据类型用户控制的流程假设——验证——结论DM：没有明确假设的前提下去挖掘信息、发现知识——具有未知、有效、可实用三个特征能自动的发现隐藏在数据中的规律可以发现比OLAP更复杂而细致的信息未知——归纳——结论联系：OLAP——DMOLAM2025/9/2212

数据挖掘与统计学数据挖掘：数据挖掘利用了统计、人工智能、数据库等技术，把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题；不仅仅是统计分析；统计分析：统计分析技术都基于完善的数学理论和高超的技巧，预测的准确度还是令人满意的，但对使用者的要求很高联系统计分析方法学的延伸和扩展很多的挖掘算法来源于统计学2025/9/2213

前景预言：著名的咨询公司GartnerGroup