模块5、6 大数据分析与挖掘、 深度学习与人工智能.pptx

模块五 大数据分析与挖掘大数据基础 导读主要内容5.1 大数据分析 5.2 数据挖掘5.3 实训 § 5.1 大数据分析 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，加以汇总、理解并消化，以求最大化地体现数据的功能，发挥数据的作用。 §5.1 大数据分析 大数据分析是指对规模巨大的数据进行分析。与传统数据分析相比，大数据的特点决定了大数据分析必须依托计算机科学技术来实现。大数据分析不是简单地统计分析，其研究过程主要侧重于两个方向：一个方向是数据处理表示，主要完成数据采集、存储、处理和可视化的研究；另一个方向侧重于数据统计规律，注重对微观数据本质特征的提取与模式发现。现在的大数据分析逐渐由数据处理技术向数据分析技术倾斜。 § 5.1.1 数据分析过程（1）探索性分析刚取得的数据可能杂乱无章，看不出规律，可以通过作图、制表、用各种形式的方程拟合、计算某些特征量等手段探索隐藏在数据中的规律。（2）模型选定分析在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步分析从中挑选一定的模型。（3）推断分析通常使用数理统计方法推断选定的模型或估计可靠程度和精确程度。 § 5.1.1 数据分析过程 数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。识别信息需求收集数据分析数据过程改进 §