大数据技术进展与发展趋势.pdf

大数据技术进展与发展趋势 在大数据时代，人们迫切希望在由普通机器组成的大规 模集群上实现高性能的以机器学习算法为核心的数据分析， 为实际业务提供服务和指导，进而实现数据的最终变现。与 传统的在线联机分析处理 OLAP 不同， 对大数据的深度分析 主要基于大规模的机器学习技术，一般而言，机器学习模型 的训练过程可以归结为最优化定义于大规模训练数据上的 目标函数并且通过一个循环迭代的算法实现，如图 4 所示。 因而与传统的 OLAP 相比较， 基于机器学习的大数据分析具 有自己独特的特点 [24] 。图 4 基于机器学习的大数据分析算 法目标函数和迭代优化过程（ 1）迭代性：由于用于优化问 题通常没有闭式解，因而对模型参数确定并非一次能够完 成，需要循环迭代多次逐步逼近最优值点。 （2 ）容错性：机 器学习的算法设计和模型评价容忍非最优值点的存在，同时 多次迭代的特性也允许