福建省生态环境大数据平台概要设计v0.2程序.docx

福建省生态环境大数据平台概要设计整体设计思想福建省生态环境大数据平台立足于福建省各种生态环境数据；通过多种渠道，采集与生态及环保有关的海量数据；采用当前最前沿的大数据技术（并行计算技术、人工智能技术），对数据等进行挖掘建模和机器学习建模，通过数据挖掘发现隐藏于其后的规律或数据间的关系，充分挖掘这些数据的价值，从而形成能实际应用于民生的新生数据；作为专家及政府的决策依据，辅助政府精细化决策,辅助专家预测将来可能有出现的环保问题；并能解决现实中真实发生的环保问题；从而改善环境，提升居民生活环境的质量，和百姓生活的福祉。平台建成后，将形成一个完整的基于大数据的生态环境数据智能化收集、智能化核算分析、智能化发布和智能化监管体系，这一平台体系可以把福建省生态环境状况，全面、直观地展现给政府部门和社会公众。同时环保部门可以重点关注核电站周边生态环境实况。通过可测量、可核查的生态环境数据，为福建省的生态环境现状评估、趋势预测、潜力分析、目标制定与跟踪，提供决策服务，进而实现对生态环境重点污染源、生态环境动态变化进行有效监管，并为建设生态环境交易市场体系奠定基础。从使用者的角度看，所有的平台数据集中到统一的逻辑平面上来；平台以省、市、县分级别多视角展示生态环境实时信息，以全息,动态的地图形式全方位地展现给使用者。平台为各类使用者提供不同的观察视角；领导能查看实时汇总信息，核辐射区大气实况；环保工作能查看各类精细报表与指标，并能搜索工作中所需要的信息。展现方式有：电子大屏幕播放，WEB浏览, 手机APP访问等三种方式。从数据处理的角度看，平台运行后将建成以生态环境数据为中心的开放式数据中心，广泛收集来自气象，农林，海洋,交通，能源, 车联网等第三方数据，同时也给第三方输出数据并分享成果数据；为后续深度学习积累数据样本，将来平台具备很强的自我学习能力。用户使用场景环保领导大屏查看全局实时信息情况，核核辐射区大气实况,查看汇总报表，指挥环境突发事件处理。环保科学家使用多级分析报告，生成各类分析结果，导入环保知识库，搜索各类数据。环保工作者输入各类数据，依据决策系统认领分发任务。市民订阅环保信息，上传个人采集数据。数据处理场景平台将形成以生态环境数据为中心的开放式数据中心,数据来源有来自环保厅的自有行业数据，广泛收集与环境有关系的第三方数据，定期抓取互联网数据，也接受来自市民提交的数据。如下图所示，数据处理场景为了数据安全，平台提供了数据安全子系统，用于数据安全，数据进入平台有两种方式，一种是直接进入处理中心，另一种是通过数据安全中心加密后进入处理中心，加密后的数据与其它数据在平台里是没有区别的，处理进程在使用数据内容时需先行解密后方可使用。进入平台的数据存放在数据仓库中。永久存放的数据就内容来说，分为原始数据，对象数据，结构化数据，成果数据；原始数据是指没进行任何处理的裸数据，对象数据是有属性，能用元数据来标识的数据，结构化数据通常指数据库，成果数据由处理系统来确定格式，是其它数据经处理后的有实用意义的成果。当然平台也会把数据处理成果输出给用户，在原始数据拥有者的许可下，成果可以共享。架构设计概要系统采用分层设计方案，如下图所示，系统分为三个层次：应用表示层、数据处理层、并行计算环境层；另有两个子系统:数据接口子系统、运行保障子系统。把与实际业务有关的模块集中在应用表示层，把数据处理有关的放在数据处理层，由并行计算环境层提供海量的存储与大规模计算，数据接口系统作为平台统一的数据来源，及输出接口;运行保障子系统给整个平台提供不间断的运行维护及安全保障。总体构成数据接口子系统平台数据办输入与输出功能全部由数据接口子系统来完成，核心数据由环保部门的监测数据以及从手工导入历史数据构成；第三方采集数据，互联网抓取数据，市民上传数据是重要的补充部分；数据全集必须在内在的逻辑方面形成一个完整有效的数据链，以便人工智能模块进行多维度分析。针对核与辐射的土壤监控，采用数据动态同步方式，数据来源主要来自福建辐射监督站开展的年度监测工作，包括土壤样本的实验分析结果、辐射本底调查数据等。将核电厂周边区域的土壤环境质量进行动态监控。同时，在历史数据挖掘的基础上，研究放射性物质在土壤中的迁移规律。针对核与辐射的土壤监控，采用数据动态同步方式，数据来源主要来自福建辐射监督站开展的年度监测工作，包括土壤样本的实验分析结果、辐射本底调查数据等。将核电厂周边区域的土壤环境质量进行动态监控。同时，在历史数据挖掘的基础上，研究放射性物质在土壤中的迁移规律。应用表示层应用表示层通过调用数据处理层的功能来完应用系统的功能，凡是与具体应用无关，可以抽象出来的功能，均在数据处理层实现，各应用系统不用单独开发相应功能。总体上来看应用表示层完成以下功能:a.实时动态按省市具区域、按类别、按管理功能的