数据仓库在渔业综合平台中应用.docVIP

数据仓库在渔业综合平台中应用 　　摘 要：为提升渔政服务能力，需要充分利用各种渔业信息化系统产生的大量宝贵的数据资源，建立基于数据仓库的渔业综合平台。文章以渔业综合平台系统为例，构建多层次数据仓库系统体系架构和模型设计。主要包括：多层次的系统数据架构；数据仓库主题模型设计和多维度分析设计。 　　关键词：渔业综合平台 系统架构 主题模型 多维分析 　　中图分类号：TP311 文献标识码：A 　　文章编号：1004-4914（2013）02-065-03 　　一、引言 　　（一）数据仓库及其应用 　　数据仓库的概念产生于20世纪90年代，随着互联网技术的兴起和企业信息化飞速发展，为在激烈的市场竞争环境下获得优势，企业需要基于其大量业务数据对其自身业务的运作以及整个市场相关行业的态势进行分析并做出有利的决策，从而产生了专门为分析统计和决策支持应用服务的、可满足决策支持和联机分析应用要求的数据中心，即数据仓库。在数据仓库基础上，通过数据挖掘、联机分析应用，构建经营分析系统和商业智能系统才成为可能，因此数据仓库系统也被称为企业的“数字神经系统”。由于在促进企业获取商业竞争优势和改善优化决策方面有明显作用，数据仓库的概念一经出现，就首先被应用于金融、电信、保险、零售等主要传统竞争激烈且数据处理密集型行业，数据仓库的建设应用也日趋成熟并进一步向构建动态数据仓库的方向发展。 　　（二）数据仓库关键技术 　　1.数据抽取技术。传统数据仓库数据抽取可以定时抽取，动态数据仓库则可以在不影响源系统负荷情况下进行动态抽取。数据抽取工具要满足下述要求：广泛支持各种数据源类型；具有良好的元数据管理能力，能及时发现数据源结构的变动；完善的任务管理能力，能够灵活地制定数据抽取任务的执行策略，管理任务的执行状态等；高效的执行效率，对于特殊的大数据量的处理可能会采用人工开发的方式，以获取最好的效率。 　　2.分布数据存储和管理。面向决策支持扩充的并行关系数据库将是数据仓库的核心。数据仓库处理的数据量比传统事务处理大得多，且随时间的推移而累积。关系数据库系统目前已发展到支持数据分割技术，能够将一个大的数据库表分散在多个物理存储设备中，进一步增强了系统管理大数据量的扩展能力，可以管理数百个GB甚至到TB的数据。另一方面跨省中心数据仓库可以采用基于分布式联网的数据库系统，进一步增加系统的可扩展性。 　　3.并行数据库处理技术。并行处理技术是数据仓库系统性能的关键。在数据仓库系统中，用户访问系统的特点是庞大而稀疏，即联机分析的查询和统计都很复杂，系统需要将所有的处理机调动起来并行处理复杂的查询请求服务。在并行及分布式数据结构中，可采用多个SMP的主机组成集群或分布式联网，通过对数据的分布以及数据库处理的分布，提高整个系统的处理能力。而且在日后系统规模扩大时，可方便地通过增加处理节点的方式扩展整个数据库系统。 　　4.多维分析模型技术。管理人员往往希望从不同的角度来审视业务情况，比如从市场、时间、地域、功能、利润、余额等来看，即多维分析技术。 　　多维分析模型技术的关键就是将信息按照多维的模型进行组织，支持切片、分割、旋转，再通过相应的工具如以数字、直方图、饼图、曲线等展现给用户，使得用户可以以灵活、直观的方式分析数据。多维联机分析系统目前有采用多维数据库系统的MOLAP、优化的关系数据库系统的ROLAP和二者的混合系统HOLAP等几种。 　　5.前端应用工具。数据仓库系统对用户应提供方便的图形化应用工具，除前面提到多维分析工具外，还包括针对决策优化的报表及查询工具等。 　　考虑到应用环境的多样性，前台应用工具应支持Client/Server、Browser/Server以及Excel等多种应用环境，其中Web前端联机分析工具由于具有跨平台特性使用上更为方便。 　　二、数据仓库在渔业综合平台系统中的应用 　　纵观建国以来我国渔业的发展史，渔业从单纯的近海捕捞，到近海、外海、远洋捕捞，再到现代的海洋捕捞和海水增养殖业，渔业的范围在不断扩大，渔业呈现多元发展趋势，逐步形成了以渔业为主，一、二、三产业相互渗透、交叉发展的格局。向科技要效益、强化渔政管理、完善社会化服务体系是当前渔业综合平台的主要任务。渔业信息化建设取得了显著成效，渔业局MIS系统、海上GPS定位系统、电信通信计费服务系统、气象与渔业服务系统、渔政管理系统等已建成并稳定运行。随着这些应用系统的持续运行，渔业部门积累了大量详尽真实的历史数据，各级渔业部门迫切需要对这些数据进行综合分析，从而保障渔民海上作业安全、准确分析渔业资源情况合理利用、科学指导渔业养殖、为政府合理制定渔业政策提供依据。然而，当前这些系统存在着部门自成体系的现象，无法对渔业高层进行宏观决策提供可靠的基础支持，严重