大数据平台及在电力行业的应用分析.pptx

大数据平台及在电力行业的应用分析2013-07目录1大数据的发展及相关技术2电力行业大数据需求3彩讯电力行业大数据解决方案大数据时代新量级、新处理模式、新企业智能 互联网 InternetBig Data People医疗卫生移动互联网Mobile Internet军事Devices食品安全消费行业电子商务交通环保物联网Internet of ThingsSensors金融服务气象公共服务指数型增长的海量数据所有研究都表明，未来数年数据量会呈现指数增长。根据EMC研究院统计，全球2012创建和复制的数据量达到了2.8ZB（1ZB等于10亿PB），而到2020，这个数据会上升到40ZB。对这些数据的管理和分析，在技术带来了挑战，但是对数据的透彻分析将会为我们带来不可估量的价值。大数据的特性半结构化、非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍容量Volume大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据等）无模式或者模式不明显不连贯的语法或句义多样性Variety价值密度低，单条数据无价值,无用数据多,综合价值大对未来趋势与模式的可预测分析深度复杂分析（机器学习、统计建模、人工智能）价值Value速度Velocity处理速度快， 要求系统在短时间内做出响应实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据处理挑战储存Storing每天几百 GB、 几 TB 的资料，且持续成长中计算Processing 在接收数据的同时做必要的前置处理，并区分数据处理的优先等级，离线计算与实时计算相结合如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失管理Managing分析Analyzing如何从中挖掘出数据隐藏的模式和价值与传统数据处理需求的区别 传统数据库模式的数据处理模式，已经无法应对大数据带来的挑战，需要新技术、新思维、新策略，使数据处理性能更高，成本更低、模式更丰富！大数据核心技术 - Hadoop基于Hadoop 实现大数据的分布式存储和分布式并行计算，实现高效的TB和PB级数据处理。分布式并行计算框架计算任务的多节点分配、计算计算与存储一体，计算向数据靠拢任务之间无依赖，系统高延展性Hadoop技术体系计算分布式文件存储存储分布式，多副本，高容错性，数据安全可采用普通PC，硬件成本低系统高扩展性，动态增加存储节点高传输率数据访问大数据核心技术 - Stormstorm是Twitter开源的一个分布式、实时的计算框架。通过这个框架可以实现消息的秒级处理，并通过分布式处理模式，实现高并发处理的承载。水平扩展，并行计算，动态增删节点可靠的消息处理事务机制，解决重复计算问题容错性大数据需求与价值12目前企业数据分析处理面临的问题目前企业的数据系统架构存在问题3各行业企业对大数据的关注程度目录1大数据的发展及相关技术2电力行业大数据应用分析3彩讯电力行业大数据解决方案大数据对电力行业价值大数据推动电力行业的变革 电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。核心主线重塑电力核心价值转变电力发展方式重塑电力核心价值 中国电力工业长期秉承“以计划为驱动、以电力生产为中心”的价值观念，重视企业价值和客户价值的实现，却在一定程度上忽视了社会效益，缺乏双向互动，导致电力供需的单方向传递，使得社会资源对电力工业的反馈促进很难实现。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业从“以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落脚在“如何更好地服务于全社会”这一根本任务上。传统电力价值链与新兴电力价值链转变电力发展方式 人类社会经过工业革命两百多年来的迅猛发展，能源和资源的快速消耗以及全球气候变化已经上升为影响全人类发展的首要问题。传统投资驱动、经验驱动的快速粗放型发展模式，已面临越来越大的社会问题，亟待转型，电力行业也是一样。电力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，能够推动中国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。电力数据价值基于大数据的电力行业优化 - 对内：优化管控模式大数据技术有助于电力企业基础设施选址、建设的决策。例如丹麦风电公司VESTAS计划将全球天气系统数据与公司发电机数据结合，利用气温、气压、空气湿度、空气沉淀物、风向、风速等数据以及公司历