Python数据分析与可视化教学ppt-数据分析理论与Python实战-数据分析是什么.pdfVIP

数据分析理论与Python实战 第一章 数据分析是什么 目录 l 海量数据背后蕴藏的知识 l 数据分析与数据挖掘的关系 l 机器学习与数据分析的关系 l 数据分析的基本步骤 l Python和数据分析 海量数据背后蕴藏的知识 l 数据蕴含了大量知识 观察 归纳 现象 总结 对象 数据 规律 l 规律可用于 l 解释当前发生的事情 l 预测未来的情况 海量数据背后蕴藏的知识 l 数据分析的意义 l 各行各业每天都在产生和收集大量数据 l 2012年的微博日发量：4亿条 l Twitter的信息量每年翻番增长 l 需要从海量数据中获得有价值的信 辅助决策 l 了解客户偏好，设计受欢迎的产品 l 制定合适价格，确保利润同时保证市场 l 了解市场需求，调整生产计划 数据分析与数据挖掘的关系 l 统计分析的含义 l 在已定假设、先验约束上，对数据进行整理、筛选 和加工，并得到信息的过程 l 数据挖掘的含义 l 在数据分析得到信息的基础上进一步获得认知，转 为有效的预测和决策 l 数据分析=统计分析+数据挖掘 l 统计分析：数据预处理阶段 l 数据挖掘：知识发现阶段 统计 数据 分析 挖掘 数据 信息 知识 机器学习与数据分析的关系 l 机器学习的含义 l 利用经验来改善计算机系统自身的性能 l 数据分析的含义 l 识别出巨量数据中有效的、新颖的、潜在有用的、 最终可理解的模式的非平凡过程，即从海量数据中 找到有用的知识 l 两者之间的关系 l “经验”在计算机系统中主要以数据形式存在，因此 机器学习需要对数据进行分析 l 数据分析过程主要利用机器学习界提供的技术来分 析海量数据 数据分析的基本步骤 l 数据收集 l 数据预处理 l 数据分析与知识发现 l 数据后处理 数据分析的基本步骤 l 数据收集 l 大数据时代的数据收集过程，得到的数据特点是大 量、冗余、体量大但是信息量少 l 如何从这样的数据中提取出信息的过程是目前数据 分析的重点和难点 数据分析的基本步骤 l 数据预处理 l 将数据转化为信息 l 主要步骤包括 l 对数据进行初步的统计方面的分析，得到数据的基本档 案 l 从数据的一致性、完整性、准确性以及及时性四个方面 进行数据质量分析 l 根据发现的数据质量的问题对数据进行清洗，包括缺失 值处理、噪声处理等 l 对其进行特征抽取为后续的数据分析工作做准备 数据分析的基本步骤 l 数据分析与知识发现 l 将预处理后的数据进行进一步的分析，完成信息到 认知的过程 l 方法分 l 有监督学习：分类分析、关联分析、回归分析 l 无监督学习：聚类分析、异常检测 l 数据后处理 l 主要包括提供数据给决策支撑系统、进行数据可视 化等方面 Python和数据分析 l 专用于实验性数据分析或者领域特定语言包括 l R语言 l Matlab l Sas l Spss Python和数据分析 l Python语言相比上述语言的优势在于 l Python是面向生产的 l 大部分数据分析过程需要首先进行实验性研