数据分析的预处理技术.pdfVIP

全旧第五届计算机辅助生产管理学术会议沦文集 数据分析的预处理技术 吴章华离学东于杰琼 北京科技大学管理学院 北京100083 摘要数据分析即是从数据中获煦有用信息的过程．而智能数据兮桁就是用料学和智能的方法和手 段采对数据进行分j斤州蒗取潜在有用信息：“。数据分析的基奉问题是了解敷据长身存在的问题和拽到 孵击和克服这些问逛的技术和方法。奉走从分析薯坦世芥中数据弃在的问题出发，提出和分析了一些解 决这告问题的常用数据预处理方法。 关键词智能数据，散据问题，数据琢处理技术 埴都能获得，但数据总量不足以支持决策和分析的需 1数据问题的类型 要。 在现实世界中．由于各种原凼．有些甚至是人本身 1．5数据断裂 无法控制的因索的干扰．使得积累和收集的数据出现 另一类数据问题是数据断裂，它是指：①不相容 各种倒题，偏离敬据本身所具有的真实特性。因此，坚 数据，对于由检测器获得的许多组数据．每组数据叉包 在决策中有效地使用这些数据．我们就必；豇要预先校 含了大量的文本和符号属性，数据分析是就要用人为 正这些数据．或者预先分析从而认识到这些数据对结 的方式将这些属性再表示，由于使用的方式的不当或 果将产生什幺影响。通常，将数据的问题仆为三大类- 不完备，从而会出现数据不相容的问题。②多源数据， 数据多余，数据不足，数据断裂”I。 对于一些大型氽业来说．数据的采集可能是由许多部 1 1数据多余 门用不同的平台或软件系统，或者采集数据的目的．深 数据由于测量和传输的失败，或者束A不同过程 度以及标准的不同，都会对数据的分析带来问题．⑨ 和系统中的数据特性不致．从而会产生噪音而失嬗． 多粒窿数据．在实际的些生产领域，同类数据可能是 这种噪音数据将削弱数据应其有的预测性干u代表性。 来自不同粒度级别，由于其特定的含义造成不完全相 其次是由于人们从大型的数据集台中，抽取肓意义的 容。 数据时．通常习惯于H抽取耶些集中在少数几种自认 2数据预处理技术 为重要的信息E．从而使数据失去整体的相关性．产生 无关数据。另一种情况是由于许多领域．其本身的觳掂 由于存在上述的各种问题，因此对数据进行预处 量和影响固素多得超过r现有的软硬件所能处理和分 理不但必要，而且非常有用。例如在神经网络中，通过 析的能力，从而产生r过大的数据规模。田此在安时 对数据的顶处理，不但可以减少数据的总量，还可以减 分析时．只能按照一定的比率和只考虑有限的蹦索来 少由于无关数据而引起的混乱。在实际的许多应用中， 提取数据。 通常也必须采用各种形式的数据预处理方法来协助数 1 2数据缺乏 据分析。 数据缺乏一是指数据属性的不足和丢失，例如有 2 1数据变换 些数据表面看似准确．实则越出r有敏范射．从而造成 在数据采集手口分析过程中，最基本的同题是效据 数据属性的不足．这种数掂将极大地影响数掘舟衔系 的质量和数掘的完簪性-“，如果将测量不精确或无效 统的准确性和学习的有效竹二；数据属性的差失则会在 的数据引入数据分析，必将导致苦种问题。因此数据分 瑰策树的归纳中．造成向蟹的长度不致。j世数据属 析的首要任母是要拽出数据的不足，然后采取舍适的 性值的丢失，存实际中，数据记录不可能是J何』底完罄 方法去职捷和克服占。F面是些数据的变换方法：① 的．有可能包含些属性值的