大数据平台和在电力行业的应用分析专题培训课件.ppt

大数据平台和在电 力行业的应用分析 目录 大数据的发展及相关技术 1 电力行业大数据需求 2 彩讯电力行业大数据解决方案 3 Big Data People Devices Sensors 移动互联网 Mobile Internet 物联网 Internet of Things 3 新量级、新处理模式、新企业智能 互联网 Internet 大数据时代 消费 行业 金融 服务 食品 安全 医疗 卫生 军事 交通 环保 电子 商务 气象 公共 服务 指数型增长的海量数据 所有研究都表明，未来数年数据量会呈现指数增长。根据 EMC 研究院统计，全球 2012 创建和复制的数据 量达到了 2.8ZB （ 1ZB 等于 10 亿 PB ），而到 2020 ，这个数据会上升到 40ZB 。对这些数据的管理和分析 ，在技术带来了挑战，但是对数据的透彻分析将会为我们带来不可估量的价值。 大数据的特性 容量 Volume 多样性 Variety 价值 Value 速度 Velocity ? 半结构化、非结构化数据的超大规模和增长 ? 总数据量的 80~90% ? 比结构化数据增长快 10 倍到 50 倍 ? 是传统数据仓库的 10 倍到 50 倍 ? 大数据的异构和多样性 ? 很多不同形式（文本、图像、视频、机器数据等） ? 无模式或者模式不明显 ? 不连贯的语法或句义 ? 价值密度低，单条数据无价值 , 无用数据多 , 综合价值大 ? 对未来趋势与模式的可预测分析 ? 深度复杂分析（机器学习、统计建模、人工智能） ? 处理速度快， 要求系统在短时间内做出响应 ? 实时分析而非批量式分析 ? 数据输入、处理与丢弃 ? 立竿见影而非事后见效 每天几百 GB 、 几 TB 的资料，且持续成长中 储存 Storing 在接收数据的同时做必要的前置处理， 并区分数据处理的优先等级，离线计算与实时计算相结合 计算 Processing 如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失 管理 Managing 如何从中挖掘出数据隐藏的模式和价值 分析 Analyzin g 大数据处理挑战 与传统数据处理需求的区别 传统数据库模式的数据处理模式，已经无法应对大数据带来的挑战，需要新技术、新思维、新 策略，使数据处理性能更高，成本更低、模式更丰富！ ? 计算任务的多节点 分配、计算 ? 计算与存储一体， 计算向数据靠拢 ? 任务之间无依赖， 系统高延展性 分布式并行计算框架 分布式文件存储 大数据核心技术 - Hadoop ? 分布式，多副本， 高容错性，数据安 全 ? 可采用普通 PC ，硬 件成本低 ? 系统高扩展性，动 态增加存储节点 ? 高传输率数据访问 Hadoop 技术体系 计算 存储 基于 Hadoop 实现大数据的分布式存储和分布 式并行计算，实现高效的 TB 和 PB 级数据处理。 大数据核心技术 - Storm storm 是 Twitter 开源的一个分布式、实 时的计算框架。通过这个框架可以实现消息的 秒级处理，并通过分布式处理模式，实现高并 发处理的承载。 水平扩展，并行计算，动态增删节点 可靠的消息处理 事务机制，解决重复计算问题 容错性 大数据需求与价值 1 3 各行业企业对大数据的关注程度 目前企业的数据系统架构存在问题 2 目前企业数据分析处理面临的问题 目录 大数据的发展及相关技术 1 电力行业大数据应用分析 2 彩讯电力行业大数据解决方案 3 大数据对电力行业价值 电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技 术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一 代智能化电力系统在大数据时代下价值形态的跃升。 大数据推动电力行业的变革 核心主线 重塑电力核心价值 转变电力发展方式 中国电力工业长期秉承 “以计划为驱动、以电力生产为中心” 的价值观念，重视企业价值和客户价值的实现， 却在一定程度上忽视了社会效益，缺乏双向互动，导致电力供需的单方向传递，使得社会资源对电力工业的反馈促进很难实 现。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值