大数据处理平台、智能算法及其评测.pdf

大数据处理平台、智能算法及其评测 陈敏刚 博士 上海计算机软件技术开发中心 上海市计算机软件评测重点实验室 cmg@ 2015/9/18 一、大数据、物联网、智慧城市的思考 智慧城市：运用先进的信 智能 智慧 电网 交通 息技术，实现城市智慧管 智慧 理与运行，为城市中的人 创造更美好的生活。 智慧 智慧 旅游 城市 医疗 物联网：通过RFID 、 数据处理 大数据：大小超 GPS、传感器等传感 大数据 出传统数据处理 设备与互联网连接起 物联网 工具存储、处理 来，进行信息交换和 （云计算） 分析、能力的数 通讯，实现智能化识 数据采集 据集。（麦肯锡） 别、定位、监控与管 理。 上海市计算机软件评测重点实验室 上海计算机软件技术开发中心 2 二、大数据数据质量、处理框架及测评 1 概述 2 数据质量及评估 3 分布式数据处理框架及测评 4 大数据的基准测试 上海市计算机软件评测重点实验室 上海计算机软件技术开发中心 3 概述 • 大数据环境下，传统的数据处理技术无法满足对大数据量 分析和处理的要求，大数据治理、大数据处理技术应运而 生。 • 数据来源的不同、数据形式的多元化，使得数据质量存在 较大的差异，不正确或者不一致的数据可能严重影响数据 分析效果。 • Hadoop 、Spark为代表的各种大数据框架不断涌现，这些数 据处理框架方便了大数据应用的编写，但是由于其分布性 和封装性，给应用程序的测试带来巨大挑战。 上海市计算机软件评测重点实验室 上海计算机软件技术开发中心 4 大数据处理流程 • 使用相关工具对分布广泛的非结构化的数据源进 行抽取/采集，并进行数据传输 • 采用合适的模式/标准对数据进行统一存储 • 利用智能算法，对数据进行分析处理 • 数据分析处理的结果，通过可视化的方法，提供 给大数据应用 （预测、分析报表、…） 模式 可视化 数据集成 关系 数据源 聚类和关联 数据库 应用 数据集成 实体 数据质量 数据质量 上海市计算机软件评测重点实验室 上海计算机软件技术开发中心