武汉大数据建设.docVIP

武汉市环境保护局 北京思路创新科技有限公司 2015年12月 建设目标 大力推进技术创新，依靠技术创新和观念转变搞好生态环境保护工作，运用新时期、新模式、新工作方式的转变，使用生态环境大数据、互联网+生态环境等工作理念，实现大数据在生态环境方面应用的稳步落实，满足武汉市环保工作的创新发展和政府深化改革、转变职能的要求。总体建设目标如下： 建设环境大数据管理平台：奠定环境信息资源建设IT基础能力，支撑计算和存储资源共享、支撑业务系统运营、支撑环境大数据产品研发和应用，形成共享共建局面 建设环境大数据分析应用：推动 “数据量化驱动型” 辅助决策，提升环境管理决策的科学性、预见性和针对性；通过精细而又智能的数据分析，提高环境监管的精细化管理程；提升公共服务水平，提高公众满意度。 生态大数据管理平台建设 针对环境大数据体系特点支撑环境监管数据环境物联网监测数据互联网环境舆情数据三流汇聚 信息采集 依托现有数据资源中心扩展数据范围，整合其他委办局相关环境资源数据抓取系统，根据项目需要采用必要的数据获取方式，对不同来源及异构数据进行集成和整合。 结构化数据存储区支撑环保大量监管、审批等业务数据，建立基础业务库、主数据库和主题库，对基础数据产品、固定报表业务以及商务智能应用进行数据支撑。 时序数据存储区针对大量监测设备产生的海量以时间序列为主的实时环境监测数据，实时数据存储查询平台的定位于针对时间序列数据的数据仓库。提供关系型多维度统计查询，支持从关系型数据库直接通过SQL访问实时数据平台、并与其他业务数据进行关联查询。非结构化数据存储区采用HDFS分布式文件系统，用于存储海量半结构化、非结构化的互联网环境舆情数据、审批附件、公文等文档数据视频监测等流媒体数据。 大数据分析区基于Hadoop支撑结构化数据时序数据以及非结构化数据的关联分析 完善主数据体系建设，实现一源一档的全面信息管控，采集污染源外部信息并监控以上数据的更新变化，作为大数据分析的基础。 元数据管理贯穿数据资源中心构建、运行和维护的整个生命周期。元数据管理需要建设元数据模型管理、元数据维护、获取接口、流程跟踪、元数据分析等功能，依据信息资源目录进行元数据管理。 环境数据画像通过离线批量计算的方式对历史数据和近线数据进行定期分析，计算采集数据各维度的统计分布特征，使得信息中心可以随时掌握数据的自身特性。同时对数据本身确定性的质量问题，例如数据缺失、重复、冲突、长时间无变化、累加值出现负增长等情况进行探测，业务人员可以针对以上情况对数据采取相应措施。此外，可以基于规则和数据挖掘算法进行异常数据发现，辅助业务人员甄别数据质量问题和真正发生的异常状况。 统一异构数据访问平台：针对生态环境保护大数据平台需要处理的互联网数据、内部信息化数据、实时监测数据等各类结构化、半结构化、非结构化数据进行统一的元数据管理，实体识别、数据关联与语义关联。采用Map/Reduce和Spark分布式计算框架，基于Hadoop Yarn框架对分析任务进行统一管理与调度。 客户端移动端数据可视化技术，将环保数据分析结果更直观和深入的展现出来，提高数据产品的易用性。采购成熟报表分析工具，利用此工具形成报表管理、多维分析等功能，实现业务处室个性化数据产品的开发和管理平台。 大数据安全应包含以下方面的考虑：权限管理、隐私保护、存储安全等安全技术以及相应的安全管理制度。大数据运维侧重于大数据平台软、硬件环境的运维、监控。 以建立科学决策新机制、精准监管新模式精准监管新模式的总体目标为纲结合本地环境数据特点建立以 数据造假甄别 针对监测指标设限制相关性异常多源数据比对异常自行监测与自动监测统计学差异排放模式突变 违法风险预测 整合污染源信访投诉行政处罚 建立时序模型，通过单指标异常和多指标同步异进行对不同类型监测设备故障诊断，并对停运、超负荷运转、设施故障等情况进行诊断分析，评价监测设备和治污设施运行状况，督促运维单位维护设备的正常运行，提高设备正常运转率。 基于环境质量推演的许可证精细化管理应用 生态功能区许可证差异化配置 实现排污许可证制度与生态功能区制度的衔接，智能识别自然生态保护区、生态功能保育区的无证排放行为，告警聚居环境维护区，资源环境引导区的超证排放行为。分别按照大气环境功能区、水环境功能区计算大气环境动态承载力和水环境承载力，动态计算污染治理重点区域逐年、逐季、及逐月等时间尺度的主要污染物环境容量，为典型生态功能区许可证差异化发放提供数据支撑。 超标区域排污单位排放限值制定 以排放标准限值作为允许企业排污强度的底线结合环境质量达标需求区域总量减排要求以及企业周报的环境敏感程度建立 重点排污单位排污许可证与环境质量改善分析 分析重点排污单位污染物排放与环境质量之间的响应关系，同时结合“十三五”总量指标分配