工程大数据分析-MathWorks.PDF

工程大数据分析 汽车传感器数据应用 马文辉 © 2015 The MathWorks, Inc. 1 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 ▪ 应用演示– 汽车传感器数据分析 2 大数据概述 大数据的”4V”特征： ▪ Volumes - 数据规模，数据规模巨大 互联网、社交网络的普及，全社会的数字化转型，数据规模向PB级发展 ▪ Variety - 数据种类 ，数据种类繁多 结构化数据，半结构化数据，非结构化数据 ▪ Value - 数据价值，数据价值密度低 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 数据处理速度是决定大数据应用的关键 3 大数据带来的挑战 ▪ 传统的工具和方法不能有效工作 – 访问和处理数据变得困难； – 需要学习使用新的工具和新的编程方式； – 不得不重写算法以应对数据规模的增大； ▪ 现有处理或计算方法下的结果质量受到影响 – 被迫只能处理一部分数据（数据子集）； – 采用新的工具或重写算法会对现有生产力产生影响； ▪ 数据处理与分析所需时间增长 – 数据规模增大、数据复杂度增加，增加处理难度和所需时间； 4 MATLAB的大数据处理 ▪ 内存与数据访问 ▪ 64-bit processors ▪ 编程 ▪ Memory Mapped Variables ▪ Streaming ▪ Disk Variables ▪ Block Processing ▪ Databases ▪ 计算 ▪ Parallel-for loops ▪ Datastore ▪ Desktop (Multicore, GPU) ▪ GPU Arrays ▪ ImageDatastore ▪ Clusters ▪ SPMD and Distributed Arrays ▪ Cloud Computing (MDCS on EC2) ▪ MapReduce