金融科技概论-苟小菊-第2章 大数据.pptxVIP

第二章 大数据金融科技概论1 1. 掌握大数据的基本概念2. 熟悉大数据的相关原理和特征3. 深入理解大数据的相关案例教学目标2 大数据的概述大数据的相关技术及处理流程大数据在金融领域的应用延伸阅读：大数据与美团外卖的精细化运营目录3 大数据的概述 大数据的概念与特征 从狭义的角度看，根据研究机构Gartner给出的定义，大数据是指只有运用新的处理模式才能具有更强的洞察发现力、决策力和流程优化能力的海量、多样化和高增长率的信息资产。通过对大数据的分析，可以了解数据背后的相应用户行为规律等信息，有助于政府、企业等做出决策。从广义的角度看，大数据则是一个综合性的概念，它囊括了狭义角度的大数据，以及对这些数据进行存储、处理、分析的技术，还有能够分析这些数据获得实用意义的人才和组织。4 大数据的概述 大数据的概念与特征 狭义大数据的特征可以归纳为5个”V”: Volume（大体量）、Variety（多样性）、Velocity（时效性）、Value（价值性）、Veracity（准确性）。Volume：数据体量巨大；Variety：数据种类多样化；Velocity：数据流动速度快；Value：价值密度低；Veracity：数据准确性。5 大数据的概述 大数据的分类按照大数据结构特征分类：结构化数据：指有结构的数据，也即行数据，在得到数据之前，其结构就是确定的。非结构化数据：指没有结构的数据，无法用数据库的二维逻辑结构来表现。包括所有格式的文档、文本、图片、视频、音频、各类报表以及标准通用标记语言下的子集XML、HTML。它们通常没有数据模型，无法进行结构化处理。半结构化数据：指介于结构化数据和非结构化数据之间的数据。半结构化数据也是有结构的数据，与结构化数据不同的是，半结构化数据是先有数据，再有结构。半结构化数据一般是自描述的，数据的结构和内容混合在一起，没有明显的区分，其数据模型是数和图。常见的半结构化数据有XML、HTML。6 大数据的概述 大数据的分类按照大数据获取处理方式分类：批处理数据：指对数据进行批量的处理，如对数据进行成批的增加、修改、删除等操作。流式计算数据：指可以在实时处理的应用环境中，对大规模流动数据在不断变化的前提下进行持续计算、分析并能捕捉到有价值信息的分布式计算模式。按照大数据获取处理方式分类：按照大数据处理响应性能，可以将大数据分为实时数据、非实时数据和准实时数据；按照大数据关系，可以将大数据分为简单关系数据和复杂关系数据。7 大数据的相关技术及处理流程 与大数据相关的技术物联网：定义：即“万物相连的互联网”，是在互联网基础上的延伸和扩展的网络，它将各种信息传感设备与互联网结合起来形成一个巨大网络，从而在任何时间、任何地点实现人、机、物的互联互通。物联网可以为大数据提供全面的信息来源，被广泛应用在了各个领域。应用：第一，以电话、微博、微信等为代表的社交网络可以产生大量数据；第二，电子商务平台。比如淘宝、京东等电商平台每天都可以产生海量的数据，对这些数据进行挖掘和分析有助于让商家准确地预测消费行为，把握其中蕴含的商机。同时，实体商店也可以借助大数据改善销售行为。第三，摄像头收集的视频、图片等信息。8 大数据的相关技术及处理流程 与大数据相关的技术云计算：定义：云计算是与信息技术、软件、互联网相关的一种服务，这种计算资源共享池叫做“云”，云计算把许多计算资源集合起来，通过软件实现自动化管理，只需要很少的人参与，就能让资源被快速提供。云计算的数据在云端，任何时间、任何设备只要登录后就可以享受计算服务。通过云计算对数据进行计算后，可以让数据为人类所用，让数据成为一种基础的公共物品，因此云计算可以为大数据的计算和分析提供可行的方法。分类：云计算主要有三种服务模式：基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）。云计算最早在海外发展较快，如知名企业Google、IBM、亚马逊等开展了云计算的业务，国内的阿里巴巴、腾讯等近些年来也涉足云计算的发展。9 大数据的相关技术及处理流程 大数据的处理流程大数据的处理流程主要包含以下几个方面：一，利用多种轻型数据库收集海量数据；二，对不同来源的数据进行数据预处理；三，将数据整理后存储到大型数据库中；四，根据企业或个人的需求，运用合适的数据挖掘技术来提取有用的信息；五，使用恰当的方式将结果展现给终端用户。10 大数据的相关技术及处理流程 大数据的处理流程数据采集：数据的来源有智能设备中的运行数据、来自互联网的数据、FID射频数据等。数据预处理：经过第一步数据采集得到的数据属于原始数据，原始数据往往存在着不完整、不一致的问题，这样的脏数据无法直接用于分析和研究。因此，为了进一步