《Python数据分析与应用》完整全套教学课件.pdfVIP

－,，

•,I

、Il-厂尸

b

·

》

J

r

·,I

＿|／

I1.1数据分析的基本概念

理解数据分析的基础是了解数据。从概念而言，大数据（bigdata)1998

是

年由SGI（美国硅图公司）首席科学家如hnMashey在USENIX说明大会上提

出的。他当时发表了一篇名为BigDataandtheNextWaveofInfraStress

的论文，使用了大数据来描述数据爆炸的现象。根据百度百科的定义，大数

据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据

集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的

海量高增长率和多样化的信息资产。在2015年《促进大数据发展行动纲要》

中，大数据是指以容量大、类型多、存取速度快、应用价值高为主要特征的

数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、

存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息

技术和服务业态。

一出

。想想：你能举大数据应用的示例吗？

I1.1.1定义

数据分析的

数据分析(dataanalysis)是指将各种算法应用千大量的、有噪声的、不完全的实际

数据中，提取隐含在其中的、人们事先不知道的有用信息和知识的实践过程。各种算

法包括来自统计学中的抽样、估计及假设检验，也包括机器学习、模式识别等领域的

建模技术和学习理论。通过数据分析，可以发现个体对象的特征阳贡类别分布，也

可以预测个体对象未来的观测结果。数据分析为科学研究、社会管理、工业生产等提

供了一种新的方法，其目的在于揭示自然现象与人类社会背后隐瘢的特性和规律。

对实际数据进行探索、提取知识的过程一般包括数据预处理、数据分析、后处理等步

骤，如图1-1所示。

后处理

特征选择