尿布与啤酒与数据挖掘技术.pdfVIP

尿布与啤酒与数据挖掘技 术 尿布和啤酒和数据挖掘技术 2007 年 01 月 13 日00:52:25 来源：中国传媒科技 进入传媒图库更多主持人图片 原标题:数据挖掘技术 数据的含义很广，不仅指 321 、897 这样壹些数字，仍指abc 、李明 、96/10/11等符号、字符、日期形式的数据。我们讨论的数据是指存 放于计算机系统中的任何东西，如：数字 、字符 、声音 、图像 、 照片 、……等等，甚至处理数据的计算机程序本身也作为计算机的数 据 。随着国民经济和社会信息化的发展，人们于计算机系统中存放的数 据量越来越大。我们发现这些数据是人们工作、生活和其他行为的记录， 是企业和社会发展的记录，也是人和自然界本身的描述。这就是说于计算 机系统中形成了庞大的数据资源 。因此，发现这些数据所含的规律也就 是发现我们工作、生活和社会发展中的规律，发现人和自然界的规律，就 相当于于数据资源中发现金矿。这就是数据资源的开发利用，是非常有价 值的工作。而数据挖掘是目前最先进的数据资源开发利用技术。 1 、什么是数据挖掘 我们先来见壹个数据挖掘的故事，尿布和啤酒的故事是关于数据挖掘 最经典和流传最广的故事。 总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛（WalMart ） 拥有世界上最大的数据仓库系统。为了能够准确了解顾客于其门店的购买 习惯，沃尔玛利对其顾客的购物行为进行购物篮分析，想知道顾客经常壹 起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易 数据。于这些原始交易数据的基础上，沃尔玛利用 NCR 数据挖掘工具对这 些数据进行分析和挖掘。壹个意外的发现是：跟尿布壹起购买最多的商 品竟是啤酒！ 这是数据挖掘技术对历史数据进行分析的结果，反映数据内于的规律。 那么这个结果符合现实情况吗？是否是壹个有用的知识？是否有利用价 值？ 于是，沃尔玛派出市场调查人员和分析师对这壹数据挖掘结果进行调查 分析。经过大量实际调查和分析，揭示了壹个隐藏于尿布和啤酒背后的 美国人的壹种行为模式：于美国，壹些年轻的父亲下班后经常要到超市去 买婴儿尿布，而他们中有30%～40%的人同时也为自己买壹些啤酒。产生 这壹现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布， 而丈夫们于买尿布后又随手带回了他们喜欢的啤酒。 既然尿布和啤酒壹起被购买的机会很多，于是沃尔玛就于其壹个个门店 将尿布和啤酒且排摆放于壹起，结果是尿布和啤酒的销售量双双增长。 按常规思维，尿布和啤酒风马牛不相及，若不是借助数据挖掘技术对大 量交易数据进行挖掘分析，沃尔玛是不可能发现数据内于这壹有价值的规 律的。 那么数据挖掘是什么样的技术呢？ 数据挖掘是从大量数据中寻找其规律的技术，主要有数据准备、规律寻 找和规律表示三个步骤。数据准备是从各种数据源中选取和集成用于数据 挖掘的数据；规律寻找是用某种方法将数据中的规律找出来；规律表示是 用尽可能符合用户习惯的方式（如可视化）将找出的规律表示出来。 但于具体实施数据挖掘应用时，仍要有壹个步骤就是结果评价。这是因 为数据算法寻找出来的是数据的规律，其中有些是人们感兴趣的有用的， 仍有壹些可能是不感兴趣的没有用的。这就要对寻找出的规律进行评估。 例如：跟尿布壹起购买最多的商品是啤酒这样壹条规律是否有用呢？这 就需要市场调查和评估工程师根据实际情况做出评估判断。这是壹个人工 步骤，仍难以自动化。 数据挖掘于自身发展的过程中，吸收了数理统计、数据库和人工智能中 的大量技术。 数据挖掘分为描述性和预测性俩类。描述性数据挖掘提供数据的壹般规 律；预测性数据挖掘产生关于数据的预测。数据挖掘的主要内容有: 关联分析：寻找数据项之间感兴趣的关联关系。例如：我们能够通过对 交易数据的分析可能得出86%买啤酒的人同时也买尿布这样壹条啤 酒和尿布之间的关联规则。 演变分析：描述时间序列数据随时间变化的数据的规律或趋势，且对其 建模。包括时间序列趋势分析、周期模式匹配等。例如：通过对交易数据 的演变分析，可能会得到89%情况股票 X 上涨壹周左右后，股票 Y 会上涨 这样壹条序列知识。 聚类分析：根据最大化类内的相似性、最小化类间的相似性的原则将数 据对象聚类或分组，所形成的每个簇（聚类）能够见作壹个数据对象类， 用显式或隐式的方法描述它们。也就是我们常说的物以类聚人以群分。 分类分