大数据系统中的软件工程管理方法探究.docVIP

大数据系统中的软件工程管理方法探究 　　摘要：文章在阐述了项目管理和软件工程项目管理有关理论和方法的基础上，通过分析研究大数据系统下软件工程的管理模式就是通过一个规范、严谨的项目管理组织机构和制订的项目管理成功标准来贯彻、实施和完成项目的管理。文章重点分析了软件服务中大数据的产生、大数据环境下系统架构的设计模式和工程的高效管理方法。 　　关键词：大数据系统；软件工程；项目管理；高效管理方法；系统架构 文献标识码：A 　　中图分类号：TP393 文章编号：1009-2374（2016）34-0093-02 DOI：10.13535/j.cnki.11-4406/n.2016.34.046 　　1 概述 　　随着互联网技术的快速发展，网络上产生海量大规模的数据，这些海量数据在金融、农业、医疗、商业等领域都有极其重要的应用。因此，通过对大数据研究从互联网的海量数据中挖掘出有价值的信息资源。虽然大数据有极其重要的研究价值，但是海量数据处理给软件设计带来了巨大挑战。大数据时代的到来，使传统的软件工程面临新的机遇与挑战。众所周知，传统的软件生产模式一般以正向工程开始，然后进行软件维护、逆向工程与再工程等，而大数据时代的软件生产模式则以逆向工程开始。由于软件资源的大量积累以及大规模软件重用技术的发展与应用，软件数据挖掘与软件集约化生产会变得越来越重要，传统意义下一切从头开始的软件项目会变得越来越少。 　　互联网的数据正以指数级速度增长，2010年，全球产生的数据超过1ZB；截至2015年，平均每年产生9ZB的数据；数据的产生主要来源于传感器、移动终端和电脑终端；所有这些数据在涉及人类基因组学、医疗保健、石油和天然气、搜索、监控、金融等诸多领域提供了大量潜在的研究价值。IDC认为能够使用大数据解决方案将蓬勃发展实时业务决策，而那些无法接受和利用这种转变的，在市场竞争中处于劣势，且将越来越多地发现自己面对潜在的故障组织。大数据技术描述新一代的技术和架构，通过对大数据进行科学组织、分析其中的数据价值。 　　大数据是涉及数据存储、可变复杂的大型数据及数据的进一步可视化处理过程；大数据架构需要具备同时处理数据存储要求和分析海量数据的大型服务器的处理能力。其中挖掘潜在模式和隐秘关系的过程称之为大数据分析。挖掘的潜在信息对公司来说能够帮助获得更丰富、更深刻的见解，并能够帮助公司在竞争中占有绝对的优势。这也是大数据的价值所在，更加精确地执行和分析数据中的潜在价值。本文将讨论大数据时代软件生产模式的变化、特征及其发展趋势。除新的概念外，还将重点介绍一些软件管理方法以及工业实践经验。我们正处于一个软件工业大变革的前夜。随着软件资源的大量积累与有效利用，软件生产的集约化与自动化程度都将迅速提高，软件生产质量与效率的大幅度改进将成为可能。 　　2 软件服务产生的大数据 　　互联网应用在各行业的广泛推广和使用，使得互联网应用服务产生海量的数据，主要包括流式密集数据和历史密集数据。比如，国内最大的电子商务阿里巴巴数据中心目前已经积累超过100PB的数据；中国移动通信公司目前建立包含办公自动化、企业标准化等超过1万业务流程。传统的软件工程中程序设计思想是“程序=数据结构+算法”，主要考虑程序的效率和正确性，忽视了程序中产生的数据，这将大大缩短程序的生命周期。在软件理论漫长的发展过程中，众多学者一致认为软件就是健壮的程序和详细的文档，其中核心部分就是完备的文档，包括需求文档、工程数据、通用规范等，整个软件设计过程更加关注文档质量和标准化开发模式。因此，在这一共同协议下，促使软件设计更加规范和标志，进而从整体上提升软件质量。 　　随着系统业务的扩容和用户的使用，要求软件能够处理大规模数据的能力。许多大型互联网企业越来越重视软件服务中流式数据和密集型数据，数据主要来源于用户体验。如图1所示，行业对数据的处理要求越来精细，技术很具有挑战性，其中如何将大数据基础设施作为服务、大数据平台作为服务、数据价值作为服务以及大数据分析作为服务，已经是大数据环境软件工程的研究主要难题。 　　从软件发展创新模式来分析，服务消费者、服务提供方及PaaS平台三方产生海量线上流式数据和离线密集型数据。比如，TB级的用户交流数据和PB级的用户行为操作数据、TB级的系统日志数据等，这些海量数据对软件开发、维护、管理有着至关重要的作用，同时这些数据对软件服务周期也有决定性的作用。本实质上来说，这些数据只是在规模和量上来衡量，对其的研究缺乏标识，尤其缺少语义化的处理。因此，对如此海量数据的处理，需要从不同的研究方式和创新思维对数据进行组织和处理，形成面向领域内的智能知识主体。以知识为中心，数据为驱动，提供一系列数据服务平台，从而体现出现代软件工程是以大数据为中心开展的。 　　3 大数