数据探勘概念.pptxVIP

数据探勘概念1-1 数据探勘概念资料探勘(Data mining)是从大型数据集中探索有趣(interesting)及有价值(valuable)的问题，并可付诸行动之方案的一个过程。换而言之，数据探勘可以衍生/呈现存在于数据(data)中的某一种模式(model)和趋势(trend)。这些模式和趋势可收集在一起，并定义为数据探勘的模型。 1-1 数据探勘概念当我们看到一个现象，例如：新上市的饮料销售的情形很好，为什么会很好？我们能不能从数据当中，找出是哪些原因导致这个现象的发生？如果要找出导致这个现象发生的原因，当数据量非常的大而且相关的变量很多时，如何从这些变量与数据当中，找到跟销售有关的讯息，来说明为何饮料销售的很好？ 1-1 数据探勘概念所以，我们也可以说，资料探勘并不纯粹只是一种技术或是一套软件，而是一种结合数个不同问题领域(problem domain)的专业技术(technologies)，并且将之运用来找出数据中信息的一个流程(procedure)。1-2 何谓资料探勘？随着信息科技的快速进展，让实时处理大量数据已不再成为天方夜谭的困难任务。计算机信息系统对数据高速处理的能力，让数据的储存更具有价值，而不再仅是一堆字段与位的组合而已。表1.1说明了计算机信息系统的演进过程。 1-2 何谓资料探勘？表1.1 计算机信息系统的演进过程 演进步骤目前企业问题应用技术系统供货商系统特性文件系统（1960年代）“2002年12月笔记本电脑的销售明细为何？”计算机、磁带、磁盘IBM, CDC传递历史性的静态数据数据库系统（1970年代）“IBM X31笔记本电脑目前的售价是多少？”阶层式数据库(hierarchical database)、网络式数据库(network database)、关系数据库(relational database)、结构化查询语言(SQL)、开放性数据库链接设定(ODBC)Oracle, Sybase, Informix, IBM, Microsoft传递实时性的单层次动态数据数据仓储系统（1990年代）“去年北部地区笔记本电脑的总销售量是多少？其中台北市的销售量是多少？”在线分析处理（OLAP）、多维度数据模型(multidimensional data model)、资料仓储(data warehouse)Pilot, Comshare, Arbor, Cognos, Microstrategy, Microsoft 传递历史性的多层次动态数据数据探勘系统（现代）“明年笔记本电脑的预估销售量为何？为什么？”进阶算法、多处理器计算机系统、大量数据储存技术、人工智能Pilot, Lockheed, IBM, SGI传递预知的、鉴往知来的信息1-2 何谓资料探勘？资料探勘的热烈蓬勃发展虽是近期的事，背后藉由成熟进展的统计学支持，才能够更具有说服力，即使如此，但资料探勘和统计学仍有诸多差异。 表1.2 为资料探勘与统计的差异 1-2 何谓资料探勘？表1.2 资料探勘与统计的差异 比较项目资料采矿统计分析数据处理量处理大量数据1,000,000,000 rows, 3,000 columns处理大量数据10,000 rows, 20 columns使用数据型态未经整理过的资料有系统、整理过的数据合理的软件价格约$2,000,000约$79.99使用者企业末端者使用统计学家检测用统计背景无须太专业的统计背景需要专业的统计背景对分析数据属性定义清楚必须必须对解决问题目标明确必须必须提供分析算法统计分析方法、人工智能、判定树、类神经网络统计分析方法模式建立提供多种模型，可以在短时间内决定合适者。需要分析者逐一分析变量重要性，模式才能建立。相关变数可以找出多个变量间之相关性。一次只能检查一个变量对结果的影响可以预期分析结果不可以可以执行方式不断循环、不断修正的过程可以问题为导向，相关问题通常只需分析一次。1-2 何谓资料探勘？由于信息科技的演进与人类各种活动（如商业行为）倍加频繁的状态，现今数据的格式与内容已非完全使用统计方法可以处理，尤其是许多的数据报含多达数十或数百种 属性的高维度数据，因此统计方法仅能使用抽样的方法，选择只用一小部分搜集到的资料来分析。资料探勘能够处理的数据量非常庞大，目前处理器指令周期非常快，藉由数据储存媒体的巨大储存量，让数据探勘的能力已远远超乎人类的计算能力，并在浩瀚且紊乱的数据流中找出有趣的类型，进而挖出有价值的金矿（知识）。1-2 何谓资料探勘？统计技术的能力，目前仅能处理以经过处理或整理过的数据格式，且在其中找出相关的因素与相关性，但是若资料量过多或过大时，将会造成各项的因素都呈现显著，影响数据呈现。1-2 何谓资料探勘？统计技术的使用，必须配合使用者具有专