软件设计说明书(基于元数据虚拟数据自动生成系统).docVIP

基于元数据的虚拟数据自动生成系统 设计说明书 1 系统简介 信息系统一般都是以数据库为后台进行开发的，其功能与性能测试往往需要一定量的数据为基础。由于安全保密和时效性等原因，在信息系统的开发过程中不能直接加载真实数据进行测试。因此，需要大量虚拟数据对系统进行全面测试。 虚拟数据的获取根据录入的方法的不同可以分为人工和自动生成两种方式。人工录入方式，仿真程度高，确保了虚拟数据的质量。但以每张表的记录数百万条计，工作量会非常大，且此工作没有继承性，以某个需求背景下录入的数据，当背景变化后难以重用。因此，设计一个虚拟数据生成工具，自动生成虚拟数据非常必要。本系统的设计目的就是为自动为用户提供海量虚拟数据。 本系统的设计采用了元数据技术，根据不同需求背景，通过元数据对数据库结构、数据特征和关系的描述，设定的模拟数据生成规则，自动生成海量的模拟数据。归纳起来，本系统具有如下特点： （1）能够适应数据需求变化 随着技术的发展和运用场景的变化，信息系统对虚拟数据在结构和内容上将提出新的要求。通过传统的手工录入方式，将不得不大量修改记录甚至重新录入，实现起来时间长，工作量大。本文档所描述的虚拟数据生成系统采用了基于元数据的规则生成技术，当需求改变时，及时更新相关配置，就可以重新自动生成虚拟数据，提高生产效率。 （2）能够高效灵活实现数据生成规则配置 本系统对虚拟数据的生成是基于数据生成规则，而数据生成规则的制定，首先从数据库结构中自动读取结构化元数据，获取数据的特征及关系，构成基本生成规则。在基本数据规则的基础上系统给出了针对不同类型数据的规范表达式，帮助用户定制符合自身需求的生成规则，实现数据生成规则配置的高效灵活。 （3）具有较好的资源字典扩展性 信息系统所在的业务领域是不断地发展的，因此总会产生一些对新类型数据需求，而这些需要应及时加入到信息系统中。本虚拟数据生成系统提供良好的资源字典维护功能，只需要及时更新字典中相关数据，既可实现了数据的无缝扩展。 （4）能够海量生成虚拟数据 本系统的设计目的既实现海量虚拟数据的生成。用户一旦根据需求，配置好数据生成规则实现资源字典的更新后，系统既可运用规则算法，自动生成海量数据，经测试生成1百万条记录的数据，大约花费10分钟。 2 软件设计 2.1软件组成及框架 “基于元数据的虚拟数据自动生成系统”的基本架构及连接关系如图1所示。系统采用三层体架构，由数据支撑层、系统支撑层、系统应用层组成。 图1 系统组成及连接关系图 数据支撑层为系统支撑层和系统应用层提供数据支撑，包括源数据库和虚拟数据库两部分。源数据库为包含真实数据的信息系统数据库，包含了数据库结构、字典类数据（用于抽取的固定数据，如地名字典表）等信息，是整个虚拟数据生成的模板和来源。虚拟数据库与源数据库结构相同，系统最终生成的虚拟数据存放于此。 系统支撑层为系统应用层提供后台软件支撑，包括元数据管理、虚拟数据生成两个子模块。元数据管理子模块用于从源数据库中读取描述数据特征的结构化元数据，如数据的长度、类型、格式等，作为生成虚拟数据的基本标准。虚拟数据生成子模块根据虚拟数据生成规则和生成需求（如生成虚拟数据数量等）生成数据，并存储到虚拟数据库中。 系统应用层面向用户，包括虚拟规则设置、数据需求设置两个子模块。生成虚拟规则设置子模块将辅助用户，在元数据描述特征的基础上，设置数据生成规则。在数据需求设置子模块中，用户录入生成数据量、是否唯一等用户对数据的整体需求。 2.2 实现方法 虚拟数据要达到代替真实数据的目的，必须做到与真实数据不但形似而且神似，即两者虽然在内容上不尽相同，但在结构和反映事物特征上要相同。本系统尝试以数据建模理论为基础，结合工程实践，通过分析数据特征，找出规律，提出虚拟数据的实现方法。 描述实体的数据有以下几个主要特征： 1．实体属性特征，作为数据库中原子的数据值，固有的长度、类型、格式等特征； 2．实体关系特征，描述数据实体之间是如何相关的，根据工程实践关注以下几种： （1）关联关系，包括一对一、一对多、多对多等数据实体间的关联关系； （2）分类关系，关联关系的一种特殊关系，相关的实体被分为一组，其中所有公共属性统一在一个超类实体中。 （3）自反关系，关联关系的一种特殊关系，是指一个实体所参与的关系，在这个关系中该实体即是父实体又是子实体。 2.2.1实体属性特征实现 实体属性特征描述时包括两个方面。一是数据所在字段的类型，如字段长度、类型、格式等；二是反映真实实体的特征，例如“电话号码”字段是长度为10的字符串，它有自定义格式：“XXXX－XXXXX”，前四个“X”表示区号，后五个“X”表示号码，“－”为二者的分隔。真实实体用数据进行描述时，通常包含这二个特征。 实体属性特征的第一个方面是数据的基本特征，通常较好处理，