市场营销中的数据分析方法讲解.ppt

31 6/8/2019 认识分析数据：数据结构类型 ? 截面数据（ Cross-section Data ） ? 时间序列数据（ Time-series Data ） ? 面板数据（ Panel Data ） 32 6/8/2019 数据分析的出发点：数据矩阵 ? 截面数据（ Cross-section Data ） ? 时间序列数据（ Time-series Data ） ? 面板数据（ Panel Data ） 33 6/8/2019 常用的统计分析方法 ? 数据分类分析 聚类分析 判别分析 ? 数据化简分析 主成分分析 因子分析 ? 数据相关分析 回归分析 典型相关分析 ? 数据预测分析 时间序列预测 34 6/8/2019 什么是数据挖掘？ Data Information Knowledge Wisdom ? 存在太多数据挖掘的定义，但基本上有这样一种描述结构 ? To find / discover / extract / dredge / harvest 、、、 ? Interesting / novel / useful / implicit / actable / meaningful 、、、 ? Information / knowledge / patterns / trends / rules / anomalies 、、、 ? In massive data / large data set / large database / data warehouse 、、、 Data + context Information + rules Knowledge + experience 35 6/8/2019 为什么会出现数据挖掘？ ? 数据爆炸性增长是数据挖掘技术应运而生的根本原因。 ? 只见树木，不见森林（ Drowning in data but starving for information ） ? 计算复杂度 ? 数据管理问题 ? 数据类型的多样性 处理大容量数据是 数据挖掘技术区别 于其他数据分析方 法的唯一标志吗？ 36 6/8/2019 其他数据分析方法：统计学 ? 从处理数据的角度看、、、 ? 数据规模不同 ? 数据来源不同：观测数据（ Secondary Analysis ） VS 试验数据（ Primary Analysis ） ? 数据类型不同（结构化数据、半结构化数据、非结构化数据） ? 从分析思想的角度看 ? 更关注实证性分析（ Empirical Analysis ）而非探索性分析（ Exploratory Analysis ） ? 更关注模型（ Model ）而非算法（ Algorithm ） ? 但二者具有相当密切的联系 ? 从数据分析的角度，统计学现在是且仍将是数据挖掘最重要的技术支撑和思想源泉 ? 更加深入的渗透和交叉（如探索性数据分析， EDA ） 数据挖掘是数据驱 动的探索性分析 ! 37 6/8/2019 数据挖掘：多学科的汇合 数据挖掘 数据库技术 统计学 其它学科 信息科学 机器学习 可视化 人工智能 科学计算 38 6/8/2019 数据挖掘是一个过程 - “from data mining to knowledge discovery in database”. U. fayyad, G.P .Shapiro and P .Smyth (1996) 39 6/8/2019 数据挖掘过程中的数据预处理 ? 数据清洗 ? 填充缺失值 , 修均噪声数据 , 识别或删除孤立点 , 并解决数据不一致问题 ? 主要分析方法：分箱（ Binning ）、聚类、回归 ? 数据集成 ? 多个数据库、数据方或文件的集成 ? 数据变换 ? 规范化与汇总 ? 数据简化 ? 减少数据量的同时 , 还可以得到相同或相近的分析结果 ? 主要分析方法：抽样、主成分分析 ? 数据离散化 ? 数据简化的一部分 , 但非常重要 ( 尤其对于数值型数据来说 ) 40 6/8/2019 数据挖掘过程中的数据探索 ? 探索性数据分析（ Exploratory Data Analysis, EDA ） ? 探