关于对软件工程中数据挖掘技术探讨.docVIP

关于对软件工程中数据挖掘技术探讨 　　摘 要软件工程数据挖掘技术是指在海量数据库内使用已有的技术或新的数据挖掘算法，通过选取、分析、表述等一系列步骤，为软件开发者收集有价值信息的过程。为清晰掌握并管理软件开发的过程，软件开发商必须收集所需的数据，这是该行业软件开发的惯例。想要完成上述工作，必须从大量的数据内提取所需的数据信息，收集和选取信息的过程就是数据挖掘过程。目前，数据挖掘技术在软件工程中得到广泛的应用，文中以介绍数据挖掘技术的相关知识及在软件工程的应用情况。 　　【关键词】软件工程 数据挖掘技术 软件开发 　　1 数据挖掘的概念及其分类 　　数据挖掘是由海量数据中获取所需的有价值的数据信息，这一过程被称作“挖掘”或“捕捞。”数据挖掘就是验证驱动分析办法转向驱动分析数据方式中。对驱动进行验证时，用户可以假设信息的存在，随之进行收集和分析，逐步验证原有假设成立。现阶段，数据存储规模极大、有一定的复杂性，单单采用验证驱动法无法把数据库所有的可用数据充分挖掘出来。发现驱动方法能够对海量数据实时有效的筛选，并自动化识别内部所隐藏的有用信息。进行数据挖掘过程中，对信息进行收集能帮助改进自身产品，所以进行数据收集时要使用各种软件度量标准。数据挖掘技术主要可以分为：分类树技术、聚类技术、人工神经网络、关联技术、可视化数据挖掘技术等等。软件度量数据一般具有高耦合性、多维度的特点，软件工程进行数据挖掘时通常使用统计分析、神经网络、回归建模等特殊处理技术，实际应用中，挑选哪一种挖掘技术，对软件工程实践达到理想目标有重要影响。 　　2 数据挖掘技术的操作步骤 　　通常情况下，数据挖掘技术主要分为以下步骤：挑选数据、预处理、进行数据挖掘、吸收数据。数据挖掘过程具有交互性的特点，有时或许要再次选择数据或要对预处理过程进行改进，基于上述情况，进行数据挖掘时必须设计反馈环。数据挖掘的首要任务是把管理与目标反映至多个挖掘任务内，整个实现过程主要分为以下步骤。①评估产品：产品评估就是对软件产生的生产过程。资源属性实施相对应的检查，且必须根据资源的各类属性，对未知属性进行赋值，必须注意所用的未知属性必须进行量化处理，整个评估工作完工后，要对获取的属性值实施预测。②关联属性：关联发现可以识别某一内容中相互存在的关联属性。例如：可以把找到的软件开发属性与产品属性相关联的点找出来。③聚类过程：把某个结构不同的群体划分至另一个拥有相同结构的子群集合内，这一操作称为聚类过程。④数据可视化处理：数据可视化处理就是采用可视化方法对复杂信息进行描述，并对描述的内容进行可视化数据探查，使用数据可视化交互控制对海量数据进行分析和检视。软件工程数据挖掘具体操作过程均满足一般性数据挖掘技术或领域的要求，通常来说，数据挖掘过程主要包括：数据预处理、挖掘、结果评估三个部分，数据挖掘流程如图1所示。数据预处理就是把没有加工的数据转换为适应挖掘出来的形式。预处理过程牵涉各种来源、格式的数据，把非格式的数据转变为格式化数据后，选取与目前数据挖掘任务相关的记录及特征，对数据进行清洗达到消除噪声的目的。挖掘操作就是在海量数据内找出反应本质性或规律性的信息。整个挖掘过程使用一系列的算法，挖掘任务包含频繁序列、关联规则、异常检测等方面的内容。结果评估是对用户展现有用的信息，难点之处为人所理解的信息与计算机理解、表达的信息由一定的差异，数据挖掘能便于人们进行理解。结果评估主要由：模式过滤、模式表示两个步骤，基于不同的设计任务，数据挖掘算法包括分类、估值与预测、聚类、异常检测等步骤。 　　3 分析软件工程数据挖掘面临的挑战 　　3.1 数据复杂性更大 　　软件工程数据不单有软件报告及版本信息等相关的结构化数据，也包含大量的代码、注释这一类的非结构化数据。这两种不相同的数据结构无法采用同一算法展开运算，这两类数据信息又具有极为重要的联系，导致整个工程的数据复杂性明显增大。 　　3.2 分析结果具有特殊性 　　传统数据挖掘得到的结果一般通过多种结果形式呈现出来，例如：报表、文字等，软件工程数据挖掘不单单要为用户提供相应的统计结果，也必须给开发软件人员提供详细具体的例子，为其设计结构提供所需的信息。所以，软件工程挖掘会对新型的数据结果提交相应的方法。 　　4 软件开发过程的数据挖掘技术 　　近些年，数据挖掘技术被广泛应用在软件工程中，在软件工程内运用数据挖掘能提升软件系统的维护效率，也在一定程度上增大系统的稳定性。 　　4.1 编程中的数据挖掘 　　编程作为开发软件的重要内容，对代码进行编写时，开发者要充分理解需要编程代码的结构与功能，根据自身的理解在数据库内选出有价值的信息。通常编程需要的信息分为以下部分：①开发软件者在已有代码库中找出与需要的代码结构、功能相似的、可以重用的