数据移植过程中地数据质量控制方法地研究.pdfVIP

第一章绪论 第一章：绪论 1．1论文研究的背景 通过长期的发展，我国许多企业在信息化建设上己经取得了很大成绩，各 行业大规模开展信息系统的建设和实用化工作。管理信息系统建设初具规模， 逐步建立了大量的应用系统，大大的提高了企业的管理水平。 目前，企业经过近年来的信息化建设，己具备了各类计算机辅助业务处理 系统，并积累了大量的基础数据。随着信息资源的不断积累、信息技术的发展、 网络及其应用的深入，作为一种战略资源与生产要素的信息资源正在逐渐成为 社会正常运转的基础，成为企业的生命线。为了在现代企业的竞争中处于优势 地位，几乎所有的国内外大公司都对信息建设和应用进行了重点投入，目的就 是能够拥有丰富、准确、及时、有效的数据资源。信息化的程度越高，依据信 息进行决策的程度越高。错误的或不准确的信息或数据必定产生错误的或不准 确的处理结果，必然导致错误的或不准确的决策。决策错误无论对于政府还是 企业都可能导致严重的甚至是致命的后果。如何使这些数据在生产管理、科学 研究、企业决策中发挥应有作用，使用户能用、用户敢用、用户愿用，使数据 真正为企业服务，这是几乎所有企业都在思考的问题。 2001年由普华永道在纽约所作的研究表明，599个被调查公司中的75％ 都存在由于数据质量问题造成经济损失的现象。只有35％的公司相信自己的数 据，15％的公司相信合作伙伴的数据(E1izabethM．Peirce，2003)。根据数据 仓库研究所(TDWI)2002年的一项研究报告指出，在美国，每年因数据质量耗 费约6000亿美元(SaraCushman，2002)。另一项资料表明，在数据质量方面 达25％一40％的费用与数据质量有关。用于保证数据质量的花费或用于解决数据 质量存在的问题造成的经济损失的数据，其研究方法不尽相同，但结论是一致 的，即数据质量的问题是普遍的，造成的损失是巨大的。因此，数据质量的问 题已开始成为管理的核心，成为现代社会运转的基础，成为企业的生命线，正 第一章绪论 在引起越来越广泛的关注。 数据质量主要会导致以下几方面的问题： 1、没有意义、错误的信息导致丧失商业机会 由于数据不完整，在对诸如决策支持系统、数据仓库之类的信息系统中的 数据进行数据挖掘的时候，有时会得到一些没有意义的决策信息，而这些信息 大部分是由于无效的默认值引起的。例如，现在电信业的客户信息大多不完整， 在很多的系统中，性别不详的人数比男客户和女客户的总和还要多，可以想象， 在按照客户性别属性分析客户的消费行为、帐务行为的时候，是得不到有意义 的决策信息的。 如果数据不可靠，而且把它作为重大业务决策的依据，实际上就对企业做 出了一个有巨大风险的财产损失决策，而决策人根本就意识不到这一点。 2、导致客户流失、客户满意度的下降 客户是企业最宝贵的资源，如果客户数据不准确会给企业的盈利带来影响。 比如客户的地址出错，会导致遗失客户，或者当客户打电话、逛商店、上网时 没有识别出来，造成客户忠诚度的降低甚至客户流失，而客户流失还意味着销 售成本的损失、丧失推荐机会、以及未来收入。 3、不断的重复开发和修改 在信息系统的整个开发过程中，开发人员始终为数据的质量问题而头痛， 他们不得不随时待命，准备解决随时可能出现的数据质量引起的问题，诸如恰 好程序被例外的数据弄乱，数据库恰好因为参照完整性而不能加载，两个报表 恰好不一致，程序恰好没有时间调试等等。想一想这些“恰好的成本。它们 如此频繁的发生，负责开发和维护的人员不得不要付出更多的休息时间，而工 作仍然一次次被重复进行一修改并重新测试程序、重新装载文件以及其他一切 需要重做的事情。这些工作浪费资金、计算机资源和员工的休息时间。总之， 这些工作造成了巨大的浪费。 4、文件和报表的重新整理． 对开发人员来讲，最头痛的莫过于发现两张报表中的数据不一致。为此开 发人员他们不得不花费无数的时间去重新整理报表并使其一致化，在源文件中 寻找数据，研究有疑点的数据值，在报表之I’日J寻求一致，将多个报表中的信息 合并成一张表。所有这些事件都是浪费，他们本可以用来做些更有效的工作。 可以看到，低质量的数据不仅妨碍了信息系统的正常运作，并且会对企业