大数据技术在水电厂生产领域的应用思考.pptxVIP

Looking to the future从IT时代转向DT时代的云应用开发平台1展望将来从IT时代转向DT时代的云应用Looking to the future大数据云计算工业4.0智慧移动互联网大数据技术在水电厂生产领域的应用思索 大 数 据 技 术 1水 电 大 数 据 应 用2行 业 应 用 前 景 展 望3 3大数据的了解——4V特征具有4V特征的数据称为大数据 巨大的数据量 Volume 集中储存/集中计算，已经无法处理巨大的数据量 多构造化数据 Variety 水电厂的生产过程数据 图片、视频、文档、机组振摆的波形文件等 增长速度不久 Velocity 水电厂设备众多，采集频度高，存储已形成海量级别 需对海量数据及时有效分析 价值密度低 Value 单条数据并无太多价值，但庞大的数据量蕴含巨大财富 巨大的数据量Volume多构造化数据Variety增长速度不久Velocity价值密度低Value 数据 即 资源：4V数据单机的存储、IO、CPU有限降本增效时效性稳定性：单点故障（准）实时级高性能计算大数据时代的挑战串行计算吞吐量有限并行计算提升吞吐量存储、迅速分析Pb级数据集可扩展集群计算框架处理异常可视化 分布式计算Storm、SparkMapReduce、DataFlow……分布式消息队列Dubbo、Thrift、NettyKafka、ZeroMQ……大数据可视化HTML5、eCharts、Google Chart、D3、Tableau……分布式内存数据库Redis、Gemfire、Memcached……大数据存储Hadoop、HBaseMongogDB、Cassandra、Postgresql、Mysql……DT：大数据技术 2水电大数据应用 水电行业使用大数据的优势大容量存储弹性分布式架构确保存储可动态扩展副本机制，确保数据安全支持多种数据类型无模式，支持构造化和半构造化数据支持视频、图片、文档对象存储并发写入支持多节点并发写入高性能读写平均每秒插入万条统计经过索引亿级统计精确查询毫秒级返回，模糊查询1s左右返回 数据应用数据分析数据处理数据存储 9水能优化利用源网协调运营设备安全评估业务协同互动数据服务：分布式存储平台，提供PB级的多种类型的数据存储能力，OTS、STS，RDS等01计算服务：分布式计算平台，提供基于分布式存储平台之上的弹性分布式计算能力02基础服务：消息队列服务、日志服务、权限服务、JDT等03应用服务：数据服务、推送服务、分析服务等04 10数据服务 11保存文件至hdfs ： String hdfs_Adrress=new String(hdfs://10.144.118.241:9000/PM/); Configuration conf=new Configuration(); String savePath=hdfs_Adrress+ siteId + / + type + / + relPath+ / + fileId+fileType;//fileName; FileSystem fs=FileSystem.get(URI.create(savePath), conf); Path path=new Path(savePath); FSDataOutputStream writer = fs.create(path); writer.write(content.getBytes(UTF-8)); writer.close(); fs.close();读取文件 ： String hdfs_Adrress=new String(hdfs://10.144.118.241:9000/PM/); String physicalPath=hdfs_Adrress+ vFile.getSiteid() + / + vFile.getFtype() + / + vFile.getPath().replace(\\, /); Configuration conf =new Configuration(); FileSystem fs=FileSystem.get(URI.create(physicalPath), conf); Path f=new Path(physicalPath); if(fs.exists(f)) { FSDataInputStream in=fs.open(f); FileStatus fStatus=fs.getFileStatus(f); byte[] buffer=new byte[Integer.parseInt(String.valueOf(fStatus.getLen()))]; i