数据挖掘与统计工作报告.pdf

台湾辅仁大学教授谢绑昌先生作的“数据挖掘与统计工作” 报告原文 数据发掘的工作（Data Mining ）是近年来数据库应用领域中，相当热门的议 题。它是个神奇又时髦的技术，但却也不是什么新东西，因为 Data Mining 使用 的分析方法，如预测模型（回归、时间数列）、数据库分割（Database Segmentation ）、 连接分析（Link Analysis ）、偏差侦测（Deviation Detection ）等；美国政府从第二 次世界大战前，就在人口普查以及军事方面使用这些技术，但是信息科技的进展 超乎想象，新工具的出现，例如关连式数据库、对象导向数据库、柔性计算理论 （包括Neural network 、Fuzzy theory 、Genetic Algorithms 、Rough Set 等）、人工智 能的应用（如知识工程、专家系统），以及网络通讯技术的发展，使从数据堆中 挖掘宝藏，常常能超越归纳范围的关系；使 Data Mining 成为企业智慧的一部份。 Data Mining 是一个浮现中的新领域。在范围和定义上、推理和期望上有一些 不同。时代不一样了，现在数据来得既多又便宜，多到了没有人有时间去看的程 度。挖掘的信息和知识从巨大的数据库而来，它被许多研究者在数据库系统和机 器学习当作关键研究议题，而且也被企业体当作主要利基的重要所在。有许多不 同领域的专家，对Data Mining 展现出极大兴趣，例如在信息服务业中，浮现一 些应用，如在 Internet 之数据仓储和在线服务，并且增加企业的许多生机。 我们对于这种 Data Mining 的产品应该有一个正确的认知，就是它不是一个 无所不能的魔法。它不是在那边监视你的数据的状况，然后告诉你说你的数据库 里发生了某种特别的现象。也不是说有了 Data Mining 的工具，就连不了解业务、 不了解资料所代表的意义、或是不了解统计原理的人也可以做 Data Mining 。Data Mining 所挖掘出来的信息，也不是你可以不经确认，就可以照单全收应用到业务 上的。事实上，Data Mining 工具是用来帮助业务分析策画人员从资料中发掘出各 1 种假设（Hypothesis ），但是它并不帮你查证（Verify ）这些假设，也不帮你判断 这些假设对你的价值。 The Evolution of Data Mining 何谓 Data Mining Data Mining是指找寻隐藏在数据中的讯息，如趋势（Trend）、特征（Pattern） 及相关性（Relationship）的过程，也就是从数据中发掘信息或知识（有人称为 Knowledge Discovery in Databases, KDD ），也有人称为「资料考古学」(Data Archaeology) 、「数据样型分析」（Data Pattern Analysis ）或「功能相依分析」(Functional Dependency Analysis) ，目前已被许多研究人员视为结合数据库系统与机器学习 技术的重要领域，许多产业界人士也认为此领域是一项增加各企业潜能的重要指 标。此领域蓬勃发展的原因：现代的企业体经常搜集了大量资料，包括市场、客 户、供货商、竞争对手以及未来趋势等重要信息，但是信息超载与无结构化，使 得企业决策单位无法有效利用现存的信息，甚至使决策行为产生混乱与误用。如 果能透过数据发掘技术，从巨量的数据库中，发掘出不同的信息与知识出来，作 为决策支持之用，必能产生企业的竞争优势。 Data Mining可说会合了以下六种领域： 2 ●Database systems, Data Warehouses, OLAP ●Machine learning ●Statistical and data analysis methods