基于大数据天然气风险管理体系研究.docVIP

基于大数据天然气风险管理体系研究 　　摘 要 研究围绕着天然气风险评估技术问题展开，使用基于Hadoop大数据系统构建适应天然气企业生产情况的管线风险评价体系。对天然气生产使用的数据进行分布式存储以及对随时产生的流式数据进行实时处理并绘制成报表。采用基于大数据的天然气风险评价技术实现对天然气企业及用户的天然气生产使用数据进行风险评估及风险预警，为天然气的安全生?a和使用提供保障。 　　关键词 Hadoop 管道运输 风险评价 肯特法 　　0引言 　　天然气开发作为一个高危作业行业，安全生产占有极其重要的地位。风险作为一种客观存在威胁着天然气行业的生产与开发，而且在一定条件下也带有某些规律性，通过风险控制来提高生产安全，减少由于不能够及时发现风险及安全隐患带来的巨大经济损失和社会损失，保障天然气开采和生产过程中的安全性。 　　将Hadoop等大数据技术引入天然气风险管理中，可以快速形成动态的风险评价方式，开拓安全风险工作的新途径，也能够实质性的提高天然气生产安全水平。天然气生产风险评价工作涉及众多数据，将大数据技术结合天然气风险管理不但可以解决数据管理、数据处理效率等问题，更是可以从海量的风险数据中发现其规律和趋势。 　　1相关技术分析 　　研究中使用了天然气的油气风险评价法Kent法，Hadoop的相关数据存储技术，以及Spark相关的实时处理技术。 　　1.1 Kent法 　　油气长输管线评价法Kent法使用半定量的方法对管道运输进行识别。其建立于独立性假设，最坏情况假设，相对性假设以及在加权计算的基础上。应用时，Kent法需要将管道按照标准划分为多段，对每一个段可能引起管道失效的主要因素建立合理的风险评价指标，根据每段的第三方指数、腐蚀指数、设计指数和误操作指数四个指数的影响程度进行管道风险评价，依据有效建立的评分标准对各个管段引起故障的重要因素逐项评分，然后以每个评分值与其对应的权重相乘，将所有的有关因素评分相加得到失效总分，再与泄露风险数相除得到相对风险数，并与风险指标指数对应后确定风险。 　　1.2 Hadoop以及Spark相关技术 　　Hadoop是大数据平台，支持对海量数据分布式、准确高效的处理。其中HDFS主要用于数据存储的基础操作。其强大的容错能力能够保障数据存储服务的安全。HBase是一个面向列式存储的、能够对表格可伸缩处理的分布式存储系统，建立在HDFS之上的HBase在给用户提供高性能的同时也能保证数据的完整性。 　　Spark Streaming使用的是基于实时数据流的的数据处理方式。而Kafka 是一个基于主题发布、订阅的消息系统。它可以作为消息队列，流计算系统的数据源。 　　2实现原理 　　2.1系统设计 　　天然气风险管理体系的研究建立在大数据技术的基础上，分析生产数据与安全系数的相关性，并依据Kent法和大量数据不断调整各个指数的权重，寻找适应于当地生产情况的评价指标。使用HDFS完善非结构化数据的管理方案，并结合HBase完成数据的读、写操作，实现数据的完整性管理。使用Spark Streaming和Kafka相结合的方式搭建实时计算框架，使用Kent法以及以数据驱动的风险评价指标，对实时信息进行加工处理，实现天然气风险管理的实时分析、实时报表。并将所有的计算数据存入数据库中，以不断的数据积累增强对风险的评价水平。 　　2.2 Kent法的优化 　　将生产地点的历史数据进行抽取、转换、清洗、装载后，利用原始的相关数据调整风险评价指标，并调整相关指数权重形成可以不断依据现实情况更新的风险评价体系，在调整权重时应注意以下几项。 　　（1）基于Kent法的应用情况以及国内生产情况，需要更改某些相关指标，例如国内的管线大气腐蚀情况与国外的情况相差巨大，国内管道运输以埋地为主，不考虑大气腐蚀。 　　（2）对于已经发生过安全风险的管道数据加以注重，并根据当时的评价结果是否准确来调整：如果评价结果正确，则需要加固当前权重的稳定；如果评价结果并不能够匹配历史数据，就需要不断调整指数权重，不断接近历史结果。 　　（3）在进行风险评价调整权重时，应过滤掉不适用的数据，例如：有人蓄意破坏、罕见的气候环境等极端情况影响导致评估结果不正确，这类数据的可预估性太低，不值得去消耗大量的运算力做无意义的事情。 　　（4）随着天然气风险管理的不断纠正，随时都有可能添加或减少指标，对于权重较低的指标可以被剔除，管理人员也应该能够加入新的指标增加风险评价的正确率。 　　2.3风险评价系统的架构 　　结合海量的天然气风险管理数据，风险评价管理采用了分布式、分层结构，整体上将系统划分为数据层、模型层、数据处理层、应用层四层结构。 　　数据层数据主要分为采集数据和结果数据。采集数据是