大数据分析报告与挖掘习题 .pdf

word

数据分析与挖掘习题

第一章作业

1.1什么是数据挖掘？在你的回答中，强调以下问题：(a)它是又一个骗局吗？

数据挖掘，在人工智能领域，习惯上又称为数据库中知识发现(KnowledgeDiscoveryin

Database,KDD)，也有人把数据挖掘视为数据库中知识发现过程的一个根本步骤。数据挖

掘可以与用户或知识库交互。并非所有的信息发现任务都被视为数据挖掘。例如，使用

数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，如此是

信息检索〔informationretrieval〕领域的任务。虽然这些任务是重要的，可能涉与使用复杂

的算法和数据结构，但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引

结构，从而有效地组织和检索信息。尽管如此，数据挖掘技术也已用来增强信息检索系统的

能力。(b)它是一种从数据库，统计学和机器学习开展的技术的简单转换吗？

硬要去区分DataMining和Statistics的差异其实是没有太大意义的。一般将之定义为

DataMining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计

理论所开展衍生，换另一个角度看，DataMining有相当大的比重是由高等统计学中的多变

量分析所支撑。但是为什么DataMining的出现会引发各领域的广泛注意呢？主要原因在相

较于传统统计分析而言，DataMining有如下几项特性：

1.处理大量实际数据更强势，且无须太专业的统计背景去使用DataMining的工具

2.数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件，DataMining

的工具更符合企业需求；

3.纯就理论的根底点来看，DataMining和统计分析有应用上的差异，毕竟DataMining

目的是方便企业终端用户使用而非给统计学家检测用的。

(c)解释数据库技术开展如何导致数据挖掘

近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以

广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛

用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等。数据

挖掘利用了来自如下一些领域的思想：(1)来自统计学的抽样、估计和假设检验，(2)人工

智能、模式识别和机器学习的搜索算法、建模技术和学习理论。数据挖掘也迅速地接纳了来

自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检

索。一些其他领域也起到重要的支撑作用。特别地，需要数据库系统提供有效的存储、索引

和查询处理支持。源于高性能〔并行〕计算的技术在处理海量数据集方面常常是重要的。分

布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。

(d)当把数据挖掘看作知识发现过程时，描述数据挖掘所涉与的步骤。

知识发现过程以下三个阶段组成：〔1〕数据准备，〔2〕数据挖掘，〔3〕结果表达和解释。

1.2给出一个例子，其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据

挖掘功能？他们能够由数据查询处理或简单的统计分析来实现吗？

由于统计学根底的建立在计算机的发明和开展之前，所以常用的统计学工具包含很多可

以手工实现的方法。因此，对于很多统计学家来说，1000个数据就已经是很大的了。但这

个“大〞对于英国大的信用卡公司每年350,000,000笔业务或ATT每天200,000,000个长

途呼叫来说相差太远了。很明显，面对这么多的数据，如此需要设计不同于那些“原如此上

可以用手工实现〞的方法。这意味这计算机〔正是计算机使得大数据可能实现〕对于数据的

分析和处理是关键的。分析者直接处理数据将变得不可行。相反，计算机在分析者和数据之

1/40

word

间起到了必要的过滤的作用。这也是数据挖掘特别注重准如此的另一原因。尽管有必要，把

分析者和数据别离开很明显导致了一些关联任务。这里就有一个真正的危险：非预