杨华-大数据时代技术与应用.pptxVIP

大数据时代：技术与应用 杨 华 博士/ 副教授 中国海洋大学 信息科学与工程学院 E-mail：hyang@ouc.edu.cn 大数据营销 《纸牌屋》是“大数据”时代下的产物， 其制作公司Netflix公司通过对3000万付费用户的收视习惯、剧情评论、演员喜好等数据精准分析定制内容，将全部13集内容一次全部推出而大获成功。 现代海洋科技 浅蓝 深蓝 透明海洋 Too much Volume (I have too much data) Too much Velocity (It’s coming at me too fast) Too much Variety (It’s coming at me from too many places in too many formats) What is “Big Data” 数据爆炸：互联网催生大量数据 “COPYRIGHT RESERVED”，“一键分享” 1995年，Windows 95，MB 2004，Google上市，GB 2014，大数据，TB，PB 大数据分析 字节(B)、千字节(KB)、兆字节(MB)、吉字节(GB)、太字节(TB)、拍字节(PB)、艾字节(EB)、泽它字节(ZB，又称皆字节)、尧它字节(YB)表示、千亿亿亿字节(BB) 封面故事： 利用海量数据的最新策略 研究人员怎样才能应对现代方法所产生的大量数据流？ 大数据分析 不是随机样本，而是全体数据 不是精确性，而是混杂性 不是因果关系，而是相关关系 大数据分析 1. Analytic Visualizations（可视化分析）2. Data Mining Algorithms（数据挖掘算法）3. Predictive Analytic Capabilities（预测性分析能力）4. Semantic Engines（语义引擎）5. Data Quality and Master Data Management（数据质量和数据管理） 大数据分析 可视化：NASA公布全球洋流图 语义搜索引擎 数据挖掘 案例分析：电子商务领域大数据之用户行为分析 数据挖掘：机器学习算法 学习方式 1、监督式； 2、非监督式； 3、半监督式； 4、强化； 算法类似性 1、回归算法； 2、基于实例的算法； 3、正则化方法； 4、决策树学习； 5、贝叶斯方法； 6、基于核的算法； 7、聚类算法； 8、关联规则学习； 9、人工神经网络 数据挖掘：机器学习算法 输入数据，被称作“训练数据”，并进行标识。 在建模时，将预测结果和实际结果进行比较，不断调整，直到预期的准确率。 应用：分类、回归 算法：逻辑回归、反向传递神经网络等 监督式学习 非监督式学习 数据不被标识，学习模型是为了推断出数据的内部结构。 应用场景：企业数据，如关联规则学习、聚类 半监督学习 数据部分被标识，部分不被标识。 模型先学习数据的内部结构，再用于预测 应用场景：图像识别，回归和分类 算法：对标识数据进行建模，然后对未标识数据进行预测。 强化学习 数据： 直接作为模型的反馈 模型： 必须对数据做出直接反应 应用场景： 动态系统和机器人控制 机器学习算法 学习方式 1、监督式； 2、非监督式； 3、半监督式； 4、强化； 算法类似性 1、回归算法； 2、基于实例的算法； 3、正则化方法； 4、决策树学习； 5、贝叶斯方法； 6、基于核的算法； 7、聚类算法； 8、关联规则学习； 9、人工神经网络 回归分析 Regression Analysis 物理意义： 试图采用对误差的衡量 来描述变量之间的相关关系 步骤 ? 确定变量 ? 建立预测模型 ? 进行相关分析 ? 计算预测误差 ? 确定预测值 回归分析 Regression Analysis SIM手机的用户满意度与相关变量的线性回归分析 因变量：“用户满意度” 自变量：“质量”、“形象”和“价格” 回归方程： 用户满意度=0.008×形象+0.645×质量+0.221×价格 指标 显著性水平 意义 　　 R2 0.89 　　 “质量”和“形象”解释了89%的“用户满意度”的变化程度 F 248.53 0.001 回归方程的线性关系显著 T（形象） 0.00 1.000 “形象”变量对回归方程几乎没有贡献 T（质量） 13.93 0.001 “质量”对回归方程有很大贡献 T（价格） 5.00 0.001 “价格”对回归方程有很大贡献 回归分析 Regression Analysis 指标 显著性水平 意义 　　 R 0.89 　　 “质量”和“形象”解释了89%的“用户满意度”的变化程度 F 374.69 0.001 回归方程的线性