辨析气象大数据.docVIP

辨析气象大数据 　　2015年9月5日，《国务院关于印发促进大数据发展行动纲要的通知》正式发布，在全社会引起广泛影响。在此前后，社会上的大数据浪潮汹涌澎湃，推动着每一个行业、部门和企业。一些单位和部门急于“抢占大数据制高点”，纷纷出台了一系列政策、措施、机构和项目。气象部门也不例外，以气象大数据为名上项目、搞工程的苗头已经出现。 　　如何认识大数据，大数据是否适用于气象部门，以及适用于哪些领域，是气象部门决策机构需要思考、分析和综合归纳的问题，因为厘清这些问题有助于避免工作中的盲目性并减少失误。 　　从应用看数据 　　数据是服务于应用的，大数据也不例外。 　　当一个新的应用出现，现有业务数据无法满足其数据需求时，必须寻找新的数据源。在寻找过程中，如果自行采集数据能够满足需求，且成本能够接受，则采取该方式是最好的选择，因为采集的过程和方法受需求者控制，所采集的数据最接近需求（如“十一五”、“十二五”期间气象部门建设的全国天气雷达站网及遍布全国所有乡镇的地面自动气象站等）。 　　而当自行采集的成本过于昂贵，以致无法承受时，选用替代数据便是将工作继续进行下去的唯一选择了。 　　以往信息相对贫乏的年代，可供选择的合适的替代数据不多，许多工作因而无法开展。互联网时代信息量暴增，替代数据的选择范围有了很大改善，使得许多过去无法开展的工作，现在有可能开展起来了。 　　然而，由于这些替代数据自身不是因本需求而产生的，故不可避免地存在诸如体量虽大但针对本需求所需的信息稀薄，信息质量不高，故难以得到确切结论，许多现象和结论难以解释等痼疾。 　　于是，“是全体数据而不是样本数据、是模糊结论而不是精确结论、是相关关系而不是因果关系”的大数据的理念和方法由此产生。 　　从应用的角度评价大数据，我们可以得出以下结论： 　　虽然就数据血统而言，大数据在实际应用中往往不属于专为本应用采 　　集的血统纯正的数据，但它的存在和被使用却是使得众多创新应用得以实现。因此大数据是资源。 　　当今新的时代已经进入信息经济和知识经济的新时代，这是一个以信 　　息和知识为基础的经济，是一个在更大程度上依赖于在生产、分配和使用等各个环节中知识和信息所作贡献的新的经济。因此大数据是新的生产力要素。 　　大数据可能提供有价值的参考信息，包括： 　　■大数据可能为政府的科学决策提供有价值的参考信息。 　　■大数据可能对企业的业务改进提供数据支持和信息支持。 　　■大数据可能为一些社会科学领域的学科研究提供有价值的信息。 　　■大数据甚至有可能对自然科学研究中的一些新的科学机理的发现提供参考信息。 　　与此同时，不能指望单靠大数据就能全面提高政府决策水平。因为决策依赖于多方面信息的综合，大数据只是提供信息的途径之一，仅靠它是无法解决政府决策的诸多问题的。 　　高层决策主要面对的是诸多不确定性环境，需要广阔的视野与丰富的经验。深厚的历史背景、细微的地缘差异、复杂的宗教派系之争以及民族间的矛盾等，这些因素交织在一起，关系复杂而头绪繁多，远非数据统计分析那样简单。 　　大数据能够为行政决策提供一项或多项较为准确的参考信息，改善影响决策的信息的质量，但信息的综合和最终的决策必须依靠人。 　　另外，大数据不可能直接解决科学机理问题。从大数据“模糊而非精 　　确”、“只求相关而非探究因果”的理念可以看出，大数据只关注于现象之间的关联性，但不探究这些关联背后的因果关系，但求知其然，而不愿，甚至不屑探究其所以然。 　　之所以如此，是与大数据的理论构建者所固有的对世界的认知：“混乱构成了世界的本质，也构成了人脑的本质”的哲学观所决定的。 　　本文无意在此探讨哲学问题，但由此可以推断：就认识论而言，大数据属于经验主义范畴，它无法直接解决科学问题，尤其是以科学机理（即所谓因果关系）为核心的气象预报科学问题。 　　在气象理论研究领域，大数据可能的贡献在于提供参考信息（如具有一定关联度的气象要素组合等），以供气象科学家们分析研究。 　　数据的管理和处理技术不是问题 　　就数据本身而言，气象大数据是指所有与气象工作相关的数据总和;从来源渠道划分，气象大数据可分为“气象行业大数据”和“气象互联网大数据”两类。 　　其中，“气象行业大数据”由与气象部门各项工作相关、且产生自气象部门内部的所有数据组成，包括由气象部门建设的、具有国内最高专业水准的气象探测体系所产生的气象专业探测数据，其他部门自行采集、通过数据共享/交换等方式汇聚到气象部门、且经过气象部门严格质量控制的气象要素探测数据，由气象业务部门和业务系统产生的各类气象服务产品数据、派生数据及中间产品数据，职能部门各管理系统（如财务系统、人力资源系统、项目管理系统等）所产生和管理的数据，各业务和管理系统