大数据技术与应用8__总复习.pptVIP

大数据技术与应用 大数据分析系统层次结构 Mapreduce、Spark、Storm NoSQL、Hbase、 GFS、BigTable ML，DL GPU、Hadoop、IaaS/PaaS 数据分析方法概述 3 机器学习 工作原理：基于物品或者用户的相似集进行推荐/分类 机器学习流程 4 训练过程 预测过程 收集历史数据 特征抽取，假设关联 建立模型 （设计公式：特征函数） 验证模型 修正模型 （修改公式及参数） （损失函数，优化算法） 确定 新数据 获得结果 之前人类来做 ：专家经验 之后机器来做： 深度学习 g 机器学习的基本流程： 预处理特征提取特征选择再到推理预测或者识别 5 大数据分析的主要思想方法 三个思维上的转变 关注全集（Completeness） 关注概率（Probability） 关注关系（Relation） 数据创新的思维方式 挖掘数据的潜在价值 大数据分析的要素 数据、思维、技术缺一不可 机器学习的基石算法 PLA 、 Pocket 迭代过程有所不同 结束条件有所不同 证明了 线性可分的情况下是 PLA/Pocket可以收敛 D 外，为什么结果是可信的（ g 约等于 f ）？ 机器为什么能够学习！ 6 机器为什么能学习 学习过程被分解为两个问题 1、我们能否确保 Eout(g) 与 Ein(g) 足够相似？ 2、我们能否使 Ein(g) 足够小？