计算机技术专业毕业论文 [精品论文] 数据挖掘在气象数据收发监控系统中的应用.doc

计算机技术专业毕业论文 [精品论文] 数据挖掘在气象数据收发监控系统中的应用 关键词：气象数据 收发监控系统 数据挖掘 元数据模型 关联规则 摘要：本论文的研究基于甘肃省气象局重点研发项目“气象数据收发全网监控系统”完成。开发的《全网监控系统》综合应用了计算机技术的最新研究成果，结合我省气象实时业务的特点，实现了对所有实时气象数据收发的全程、多视角、自动化监控，最大限度地提高了数据传输的可靠性及实时性，减轻业务人员的工作量。同时，系统实现了任意时段、任意类别资料传输质量的统计分析及内部一致性分析，并且根据分析结果找出了实时业务存在的问题，提出了改进建议，为传输质量评估和业务诊断分析提供了依据。本文的主要工作以及创新点有以下几方面： 本文在查阅大量资料的基础上，详细介绍了我国气象数据收发全网络监控系统的研究现状、研究内容、相关技术方案；介绍了数据挖掘技术在全网监控系统中的研究现状、应用方法、过程及步骤。通过分析气象领域数据传输现状及用户需求，确定了本项目的研究内容及解决的技术难题，确定数据挖掘技术拟解决的问题(气象数据传输异常点的分析；温度和区域自动站数据采集之间的关联关系；信息传输质量和业务流程或系统稳定性之间的关系)，并提出解决此任务的数据挖掘算法。 本文从信息传输的角度，分析了各类气象资料的多种异构数据源的特点(观测频次、文件命名方式、内容格式、内容标识、时空特点及收发平台等)，提出了采用元数据技术实现复杂气象数据的统一管理，本文采用ETL技术，实现不同平台下所有收发数据的抽取、清理、转换、集成和入库存储等工作，为实时监控和主题挖掘奠定了基础。在此基础上，实现统一平台所有收发资料可视化的监控和预警。保证了气象数据收发的及时性，提高了传输质量。 本文尝试通过数据挖掘的方法，解决气象数据的特定问题。提出了“元数据模型下的分类算法”，较好地解决了原有分类算法处理气象数据方面的不足，结合行业领域知识，在模型已知的情况下，重点考虑了数据的动态变化，即数据随业务的变化而变化、随时间、季节的变化???变化。同时减少了原有分类算法繁琐的重复训练过程，极大提高了算法的效率，能够满足现有业务和今后业务拓展的需求。另外，通过孤立点分析和关联分析，发现了很多现有业务系统BUG、业务流程存在的问题，分析了区域自动站数据采集器和温度变化的关系。针对发现的这些问题，提出了改进措施，并在系统中得以实现。从而保证了各类气象资料传输的及时性和完整性，提高了传输质量。 通过本文的尝试，利用数据挖掘技术对气象数据实施挖掘是可行的，但要在气象领域广泛使用，还需要针对气象数据和气象工作的特点，提出解决气象问题的专有算法，并要充分利用领域知识对挖掘模式作出评估，解决气象数据挖掘效率低的问题。  正文内容 本论文的研究基于甘肃省气象局重点研发项目“气象数据收发全网监控系统”完成。开发的《全网监控系统》综合应用了计算机技术的最新研究成果，结合我省气象实时业务的特点，实现了对所有实时气象数据收发的全程、多视角、自动化监控，最大限度地提高了数据传输的可靠性及实时性，减轻业务人员的工作量。同时，系统实现了任意时段、任意类别资料传输质量的统计分析及内部一致性分析，并且根据分析结果找出了实时业务存在的问题，提出了改进建议，为传输质量评估和业务诊断分析提供了依据。本文的主要工作以及创新点有以下几方面： 本文在查阅大量资料的基础上，详细介绍了我国气象数据收发全网络监控系统的研究现状、研究内容、相关技术方案；介绍了数据挖掘技术在全网监控系统中的研究现状、应用方法、过程及步骤。通过分析气象领域数据传输现状及用户需求，确定了本项目的研究内容及解决的技术难题，确定数据挖掘技术拟解决的问题(气象数据传输异常点的分析；温度和区域自动站数据采集之间的关联关系；信息传输质量和业务流程或系统稳定性之间的关系)，并提出解决此任务的数据挖掘算法。 本文从信息传输的角度，分析了各类气象资料的多种异构数据源的特点(观测频次、文件命名方式、内容格式、内容标识、时空特点及收发平台等)，提出了采用元数据技术实现复杂气象数据的统一管理，本文采用ETL技术，实现不同平台下所有收发数据的抽取、清理、转换、集成和入库存储等工作，为实时监控和主题挖掘奠定了基础。在此基础上，实现统一平台所有收发资料可视化的监控和预警。保证了气象数据收发的及时性，提高了传输质量。 本文尝试通过数据挖掘的方法，解决气象数据的特定问题。提出了“元数据模型下的分类算法”，较好地解决了原有分类算法处理气象数据方面的不足，结合行业领域知识，在模型已知的情况下，重点考虑了数据的动态变化，即数据随业务的变化而变化、随时间、季节的变化而变化。同时减少了原有分类算法繁琐的重复训练过程，极大提高了算法的效率，能够满足现有业