软件工程分析研究中的效度问题.docVIP

软件工程研究中的效度问题 ?摘要 在过去十年中，由于开源项目的，使用软件构件已经。在本文中，我们过去3年ICSE和FSE，并开源项目与项目这些研究中所使用多样性。我们的调查显示，最近的研究中几乎有一半（49％）使用开源项目。 我们得出结论，经验性软件工程的研究人员必须考虑到由于只使用几个知名的开源软件项目所引起的外部效度问题，这些对数据源选择的讨论是软件工程研究的一个重要的议题。而且，我们建议，软件资源库基准应有一个共同的研究架构，并共享经验性分析结果，这是为了更好地解决外部效度问题，并促进经验软件工程中分析软件构件的研究。 分类和主题描述 D 2.0[软件工程]：通用 通用术语 效度 关键词 经验研究，外部效度，开源软件 1.介绍 在过去的几年中，软件工程研究人员充分利用了开源软件项目提供的丰富信息。研究人员已经开发了开源代码库，问题追踪器，邮寄档案列表和其他产品来进行他们的经验研究。从表面上看，这些研究??的进行是为了获悉更多的软件开发状态，以及可以如何改善它。 在严格审查开源软件这些研究关软件工程的一般结论。这些是有的，这类研究的作者威胁， ?在本文中，我们软件工程研究的潜在威胁，我们使用开源数据作为主要研究数据源的外部问题。我们调查FSE和ICSE会议，以确定，提出我们觉得有关改善经验软件工程， 2.实验的效度 对于任何类型的实验，为了给出有说服力的论据，它们必须具有高度有效性。当对一个实验效度的完整处理被更好地留给了另外的资源，这个部分可以简单应对在软件工程研究中对于内部，外部，以及建构效度的挑战。 2.1 建构效度 建构效度是指具体的测量值是否真的模拟构成假设定理的自变量和因变量。 换句话说，一个具有高建构效度的经验研究能够确保研究参数与研究问题紧密相关。 2.2 内部效度 在经验研究中，干扰因素对内部效度是一个主要的威胁。我们的调查显示，在软件工程研究中，选择性偏差是一个普遍的问题，并且限制了这些研究的效度。内部效度对计算者来说很难处理，因为观察变量的变化可能归因为其他一些变量的存在或者变化度，这些与被控变量有联系，但没有明确地模式化变量。 2.3 外部效度 一般地，外部效度指的是除了那些直接观察结果以外的领域，其研究或实验结果的适用性。如果一个研究的结论支持整个研究领域，那么就说这个研究具有高外部效度。在大多数科学科目中，研究者们非常重视对外部效度的研究，因为研究结果可以广泛适用于其他情况。 一个给定研究的外部效度有几个方面： ·研究是否在领域中推广到了其他学科 ·是否存在足够的根据和论点来支持声明的普遍性 ·研究成果是否能验证预期的理论 减轻建构和内部效度问题常常比应对面向内部效度的威胁更重要，因为解决前两者是先决条件，之后才能考虑研究结果超出进行研究的主题领域之外的普遍性。然而，每个软件工程研究应该争取一个高层次的外部效度，因为软件世界太大，太复杂了，无法全面地研究。研究人员选择研究代表性的项目，然后对其总体概括出结论是很重要的。 3.研究中的开源数据 随着最近的开源软件开发和数据的激增，研究人员已经转向这些容易取得开发数据和构件的资源。尽管有困难，不管是否能够被理解，这样做的情况已经发生。有一段时间在开源研究领域，从开源资料库中获得一套平衡的数据已经成为一个难题，一些数据集合已经尝试着去解决这个问题。 然而，开源数据在一些方面要区分于专利软件数据。首先，当使用开源数据集时，研究人员们经常可以使用软件工程过程中的产品，而当审查专利软件时，研究人员们通常可以得到一个关于软件系统以及软件系统构建和维护环境的更为完整的视图。其次，进一步偏置源数据是开源软件的领域。许多最成熟的开源项目是系统领域软件，这可能会引起它自己特有的一系列发展倾向。以其他领域方向为发展目标的软件工程可能会有特殊的问题，并且不能被系统特有的软件偏置精准地捕获到。 第三，大量存在的工作决定了开源项目的社会结构。与此同时，专利项目已经建立了组织结构，通过研究它们，研究人员们可能放弃探索社会关系的时间密集型过程。此外，考恩威法则指出软件的设计和构建是否开放或私化，可能会被组织结构深远影响。由于开源项目的组织结构通常是自发形成的，能够使用开源项目数据解答的关于通信和组织结构的研究问题类型，不能推广到结构明确定义的封闭源项目。 最后，使用开源项目数据进一步使研究方法的验证变得复杂，因为很难找到合适的工作人员（开发者，管理者，测试者），让他们验证自动化软件分析的结果，因为贡献者的角色常常是隐蔽的，他们的工作都基于自愿的原则。 3.1 在研究中开源数据的调查 一个关于过去会议的简单调查有助于说明我们的观点。这样一个调查，尽管不能完全代表所有的软件工程研