高教社市场营销调研教学课件第18章 大数据分析方法.ppt

武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 武汉大学经济与管理学院 曾伏娥 * 二、大数据并行计算 大数据并行计算方式 网格计算与云计算 网格计算通过利用大量异构计算机(通常为台式机)的未用资源( CPU周期和磁盘储存)将其作为嵌人在分布式电信基础设施中的一个虚拟的计算机集群,为解决大规模的计算问题提供一个模型。 公共云计算是从网格计算演化而来的,能够随需应变地提供资源。 二、大数据并行计算 大数据并行计算方式 大规模并行处理 大规模并行处理是由多个由微处理器、局部储存器和网络接口电路构成的节点组成的并行计算体系,节点间以定制的高速网络互联。大规模并行处理是一种异步的多指令流多数据流,它的程序有多个进程,它们分别分布在各个微处理器上,每个进程有自己独立的地址空间,进程之间通过消息传递进行相互通信。 大规模并行处理器集储存、记忆和计算于一体,能够高效地处理大规模的数据。 二、大数据并行计算 大数据并行计算方式 高性能计算 高性能计算是指使用很多处理器或者某一集群中组织的几台计算机的计算系统和环境。高性能计算主要用于高速浮点处理,由于大多数计算过程都在存储器中进行,因此，高性能计算也拥有超高的计算性能。 二、大数据并行计算 大数据并行计算平台 MapReduce 数据库分析 信息传递接口 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行计算。映射(Map)和归约(Reduce)是它的主要思想,是从函数式编程语言借用而来,并包含从矢量编程语言里借来的特性。 数据库分析是通过向数据库里搭建分析逻辑而允许在数据库内部进行数据处理的技术。这么做避免了传输数据和在数据库和独立分析应用间反复迁移数据所耗费的时间和精力。 信息传递接口是用于分布式存储器并行计算机的标准编程环境。信息传递接口的核心构造是信息传递:一个进程将信息打包成消息,并将该消息发送给其他进程。 二、大数据计算的局限性 磁盘限制是指没有足够的存储容量去存储数据。例如,有2 PB的数据却只有500TB的存储容量。 磁盘限制 I/0限制是指没有足够的带宽来迁移数据以满足商业发展的需求。例如，试图在5分钟内用直径只有10英寸①的管线去迁移50 TB的大数据。 I/O限制 大数据计算平台使用存储器和中央处理器来处理和分析大数据,许多数据分析软件都会将需要处理的数据全部上传至存储器中,再利用中央处理器进行计算工作。这一过程耗时很短,但能够上传的数据量却会受到存储器容量大小的限制。大部分大数据计算平台的存储器容量都很小，因为购买存储器的成本很高。 存储器和中央处理器限制 二、大数据分析与运用 许多服务业和实体商品业的企业都十分擅长于进行数据分析,但是在实际应用数据分析结果方面却不尽人意。大多数企业管理者都面临着以下列举的几个问题： 一 你有过顺利完成数据分析过程却无法应用数据分析结果的经历吗? 二 你有过需要增加或减少数据分析的次数来适应数据应用的需要的经历吗? 三 人类偏见总是存在的,你有过不得不将员工间的争论推向一个健康发展的方向的经历吗? 怎样将想法付诸于实践?怎样架起数据分析和应用间的桥梁? 二、大数据分析与运用 二、大数据分析与运用 1.识别数据中的信号和噪声 当数据规模变得越来越庞大时,仅凭探索性分析很难全面地掌握数据的意义。一旦对大数据中的噪声了如指掌之后,你就能更准确地识别出大数据中的信号了。 信号 噪声 二、大数据分析与运用 2.从数据采样到数据分析 验证模型 评估所有数据 部分数据样本建模 更大数据样本建模 大数据时代 更多的数据甚至所有数据来建立模型 二、大数据分析与运用 3.大数据分析工具 传统统计软件 大数据时代统计软件 SAS IBM SPSS KXEN Matlab … Karmasphere Hadoop Datameer Alpine Data Miner R … 二、大数据分析与运用 4.大数据新兴技术 机械硬盘 固态硬盘 通用图形处理器 绘图处理器 二、大数据分析与运用 数据可视化 数据可视化是一种将数据转换为其视觉表现形式的技术,这种数据的视觉表现形式被定义为一种以某种概要形式抽取出来的信息,包括相应信息单位的各种属性和变量。 数据可视化是为了实现以下几个目的: 二、大数据分析与运用 数据可视化 二、大数据分析与运用 大数据分析的实际应用 为了让大数据分析能够在企业中得到真正的应用，我们需要经历以下几个阶段: 案例分析 2019年起5G成为全球科