大数据与数据科学.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * 传统的RERM方法: Model: Theory: (Regression function) based on the fact the hypothesis error: 大数据算法设计问题(可行性理论) 基于分布式的大数据回归: 将大数据集D随机拆分成m个子集，让m台机 器分别对Di进行回归，将所得结果进行平均，以此获得D的回归估计。 基本问题：基于分布式的处理可行吗？ 基于Hadoop的回归算法： Step 1 Step 2 新的方法论：使用随机抽样不等同于估计假设条件误差。( Random sampling inequality quantifies the fact that a differentiable function cannot attain its large values anywhere if its derivatives are bounded on a sufficiently dense discrete set ). 可行性理论 在一定的条件下, 基于Hadoop的回归算法在一致相合条件下是可行的。 (Chang & Xu, Distributed Regression for Big Data: A Feasibility Theory, ICML 2014) 大数据算法设计问题(可行性理论) 试验及初步理论 线性回归模型： 参数设置： 噪声： 样本个数：100万 参数空间维数：100 数据总量：6G 使用local machines: 初步理论： 试验结果 大数据算法设计问题(可行性理论) Variable grouping Examples of BDA design (4):ADMM Task: AIA Example 2: Variable grouping A BDA: Distributively parallel Gradient descent LS Solver for Ax=b (LS-Solver) LS Solver for Ax=b (LS-Solver) ADMM Example 1: Examples of BDA design (4):ADMM System: 20 computers，8 kernels per node, CPU Clock Speed 3.4GHz, RAM 16GB Network Bandwidth 1Gb Platform: Spark 1.3.0 Running Time/minutes 38GB 100GB L1/2 Sparse Solver ADMM Example 1: Systems:20 computers，8 kernels per node, CPU Clock Speed 3.4GHz, RAM 16GB Network Bandwidth 1Gb Platform: Spark 1.3.0 Running Time/minutes Examples of BDA design (2): Variable grouping 104GB 40GB Examples of BDA design (4):ADMM ADMM (Alternating Direction Method of Multipliers):　Through introducing auxiliary variables, an un-decomposable or a coupled task is transformed into a decomposable and decoupled one. Example: Data decomposition = coupled decoupled constrained Variable grouping Examples of BDA design (4):ADMM Task: ADMM Example 2: Variable grouping A BDA: Distributively parallel Multiplier updating Sparse-Solver for Ax=b (SS-Solver) ff Sparse-Solver for Ax=b (SS-Solver) ADMM Example 1: Examples of BDA design (4):ADMM Sy