怎样提升数据分析能力.pdfVIP

怎样提升数据分析能力 怎样提升数据分析能力 我们正在迎来一个数据爆炸的时代：各类设备和互动产生的 数据量正以年均大于50%的速度增长，那么，如何提高提升数据 分析能力呢？ 第一步：数据准备：(70%时间) 1.获取数据(爬虫，数据仓库) 2.验证数据 3.数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、 特殊值、合并数据集) 4.使用python 进行文件读取csv 或者txt 便于操作数据文件 (I/O 和文件串的处理，逗号分隔) 5.抽样(大数据时。关键是随机) 6.存储和归档 第二步：数据观察(发现规律和隐藏的关联) 1.单一变量：点图、抖动图;直方 图、核密度估计;累计分布函 数 2.两个变量：散点图、LOESS 平滑、残差分析、对数图、倾 斜 3.多个变量：假色 图、马赛克图、平行左边 图 第三步：数据建模 1.推算和估算(均衡可行性和成本消耗) 2.缩放参数模型(缩放维度优化问题) 3.建立概率模型(二项、高斯、幂律、几何、泊松分布与已知 模型对比) 第四步：数据挖掘