数据挖掘算法介绍--综述.ppt

数据挖掘算法介绍

－－综述张宇敬2013年11月1日2024/11/91

改变未来世界的十大新兴技术《TechnologyReview》（麻省理工学院2019年1月出刊）机器与人脑的接口塑胶晶体管数据挖掘（DataMining）数字权利管理生物测定学（Biometrics）语言识别处理微光学技术（Microphotonics）解开程序代码（UntanglingCode）机器人设计微应用流体学（Microfluidics）2024/11/92

什么是数据挖掘？DataInformationKnowledgeWisdom存在太多数据挖掘的定义，但基本上有这样一种描述结构Tofind/discover/extract/dredge/harvest、、、Interesting/novel/useful/implicit/actable/meaningful、、、Information/knowledge/patterns/trends/rules/anomalies、、、Inmassivedata/largedataset/largedatabase/datawarehouse、、、Data+contextInformation+rulesKnowledge+experience2024/11/93

为什么会出现数据挖掘？数据爆炸性增长是数据挖掘技术应运而生的根本原因。只见树木，不见森林（Drowningindatabutstarvingforinformation）计算复杂度数据管理问题数据类型的多样性处理大容量数据是数据挖掘技术区别于其他数据分析方法的唯一标志吗？2024/11/94

其他数据分析方法：统计学从处理数据的角度看、、、数据规模不同数据来源不同：观测数据（SecondaryAnalysis）VS试验数据（PrimaryAnalysis）数据类型不同（结构化数据、半结构化数据、非结构化数据）从分析思想的角度看更关注实证性分析（EmpiricalAnalysis）而非探索性分析（ExploratoryAnalysis）更关注模型（Model）而非算法（Algorithm）但二者具有相当密切的联系从数据分析的角度，统计学现在是且仍将是数据挖掘最重要的技术支撑和思想源泉更加深入的渗透和交叉（如探索性数据分析，EDA）数据挖掘是数据驱动的探索性分析!2024/11/95

其他数据分析方法：商业智能E.F.Codd的数据分析模型绝对模型（CategoricalModel）：依据预定义路径寻找原因，如查询解释模型（ExegeticalModel）：依据多层次路径寻找原因，如多维分析思考模型（ContemplativeModel）：参数化路径，如场景分析公式模型（FormulaicModel）：模型化路径，如数据挖掘ReportingAdHocQueriesPredictiveModelingWhathappened?Whydidithappen?Whatwillhappen?ROI应用复杂性Stage3Stage2Stage1HumanDiscoveryMachine-assistedDiscovery现象＝模型＋误差数据挖掘寻找的是模型!2024/11/96

数据挖掘数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程。KDDDM2024/11/97

KDDKDD:knowledgediscoveryindatabase数据建模验证应用2024/11/98

DMDM:dataming——KDD的一个阶段KDD与DM等同2024/11/99

DMislikesettinguparestaurantkitchen...StartingarestaurantkitchenDataMiningFood/InfoCooks/TeamKitchen/DWH2024/11/910

数据挖掘与其他学科的关系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearning(AI)Visualization2024/11/911

数据挖掘与OLAPOLAP（on-lineanalyticalprocessing）:只能限制于少量的维度和数据类型用户控制的流程假设——验证——结论DM：没有明确假设的前提下去挖掘信息、发现知识——具