互联网金融信息安全 大数据技术 大数据技术.pptxVIP

互联网金融信息安全第七章 新技术应用主讲教师：XXX目录生物识别技术与应用云计算技术及应用2341大数据风控技术及应用区块链技术及应用7.3大数据风控技术及应用7.3.1 大数据概述1. 大数据的发展历程第一阶段：萌芽期 （ 20世纪90年代至21世纪初 ）随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。 第二阶段：成熟期（21世纪前10年 ）Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方案逐步走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的GFS和Mapreduce等大数据技术受到追捧，Hadoop平台开始大行其道。 7.3.1 大数据概述1. 大数据的发展历程第三阶段：大规模应用期 （ 2010年以后 ）大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高。7.3.1 大数据概述2. 大数据的概念基百科中关于大数据的定义为：大数据是指利用常用软件工具来获取，管理和处理数据所耗时间超过可容忍时间的数据集。IDC对大数据作出的定义为：大数据一般会涉及两种或两种以上数据形式，它要收集超过100TB的数据，并且是高速、实时的数据流；或者是从小数据开始，但数据每年会增长60%以上。7.3.1 大数据概述3. 大数据的特点7.3.1 大数据概述3. 大数据的特点1.容量。大数据聚合在一起的数据量是非常大的，根据IDC的定义至少要有超过100TB的可供分析的数据，数据量大是大数据的基本属性。2.种类。Variety 则意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为信息的制造者和传播者。这个阶段不仅数据量开始了爆炸式增长，数据种类也开始变得繁多。7.3.1 大数据概述3. 大数据的特点3.速度。大数据时代的数据产生速度非常迅速。在Weh2.0应用领域，在1分钟内，新浪可以产生2万条微博， Twitter可以产生10万条推文，苹果可以下载4.7万次应用，淘宝可以卖出6万件商品，人人网可以发生30万次访问，百度可以产生90万次搜索查询， Facebook可以产生600万次浏览量。大名鼎鼎的大型强子对撞机(LHC)，大约每秒产生6亿次的碰撞，每秒生成约700MB的数据，有成千上万台计算机分析这些碰撞。7.3.1 大数据概述3. 大数据的特点4.价值。比前面三个V更重要的，就是value，它是大数据的最终意义，获得洞察力和价值。大数据的崛起，正是在人工智能、机器学习和数据挖掘等技术的迅速发展驱动下，呈现了这么一个过程：将信号转化为数据，将数据分析为信息，将信息提炼为知识，以知识促成决策和行动。就大数据的价值而言，就像沙子淘金，大数据规模越大，真正有价值的数据相对越少。7.3.1 大数据概述4. 大数据的影响7.3.1 大数据概述5. 大数据的应用（一）金融行业 大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重要作用。（二）汽车行业利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活 （三）互联网行业 借助于大数据技术，可以分析客户行为，进行商品推荐和有针对性广告投放 7.3.1 大数据概述5. 大数据的应用（四）餐饮行业 利用大数据实现餐饮O2O模式，彻底改变传统餐饮经营方式 （五）电信行业 利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施 （六）能源行业 随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理地设计电力需求响应系统，确保电网运行安全 7.3.1 大数据概述5. 大数据的应用（七）物流行业 利用大数据优化物流网络，提高物流效率，降低物流成本 （八）城市管理 可以利用大数据实现智能交通、环保监测、城市规划和智能安防 （九）生物医学 大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA，了解更多的生命奥秘 7.3.1 大数据概述5. 大数据的应用（十）体育和娱乐 大数据可以帮助我们训练球队，决定投拍哪种题材的影视作品，及预测比赛结果 （十一）安全领域 政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪 （十二）个人生活 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务 7.3.1 大数据概述6. 大数据关键技术（一）数据采集 利用ETL工具将分布的、异构数据源中的