大数据安全培训-v1.0.pptx

大数据安全培训2018.04目录1、大数据基本概念2、大数据应用介绍4、应用举例3、大数据安全现状2022/5/301大数据基本概念大数据基本概念7:00,你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。9:00,今天你要带朋友到上海的南京路步行街逛逛，你打开某互联网公司的大数据产品“XX预测”，看看步行街今天预计会有多少人，再看看上海今天的交通预测。 “XX预测” 根据以往用户定位请求信息建议你乘地铁前往步行街。12:00,逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。2022/5/3大数据基本概念14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去世纪公园还是去中山公园。你又打开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了中山公园。16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国电信至少有5亿用户，每天至少能产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。 18:00,你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。22:00,晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇……2022/5/3大数据基本概念13000+个iPhone应用下载Skype上37万+分钟的语音通话Twitter上发布98000+新微博发出1.68亿+条EmailFacebook上更新69.5万+条新状态上传6600张新照片到flickr数据不再是社会生产的“副产物”,而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。12306出票1840+张YouTube上上传600+新视频淘宝光棍节10680+个新订单2022/5/3大数据基本概念“大数据:或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。” ——维基百科2022/5/3大数据基本概念仅仅是“大”?比“大”更重要的是数据的复杂性,有时甚至大数据中的小数据如一条微博就具有颠覆性的价值2022/5/3大数据基本概念海量异构劣质高维2022/5/3大数据基本概念体量Volume非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义多样性Variety杂大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）价值密度Value低速度Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效快2022/5/3大数据基本概念杂大充满杂质海量沙漠低快只为粒金争分夺秒2022/5/3大数据基本概念大数据的数据够“大”,数据不再是稀缺资源，不能像小数据时代那样，用最小的数据获得最多的信息;而应该要拿到与领域相关的全数据大数据新思维大数据的数据够“杂”,来源广泛，格式五花八门，用户需从海量数据中提炼有价值信息，个体数据（或严格因果模型）的精确性不再重要，重要的是大多数数据群共同指出的结论（相关性关系）;大数据的数据够“快”,数据产生得快，数据增加得快，数据随时间的折旧也快，数据的时效性成为关键。2022/5/3大数据基本概念对比传统方法大数据方法数据采集手段采样数据 全局数据数据源单数据源多数据源整合判断方法基于主观因果假设机械穷举相关关系演绎方法孤立的推算方法大数据+小算法+上下文+知识积累分析方法描述性分析预测性和处方性分析对产出的预期绝对的精确性更重要更注重实时性（具体根据需求而定）2022/5/3大数据基本概念大数据不仅仅是技术,关键是产生价值可以从各个层面进行优化，更要考虑整体2022/5/3大数据价值行业数据处理方式价值银行/金融?贷款、保险、发卡等多业务线数据集成分析、市场评估?新产品风险评估?股票等投资组合趋势分析?增加市场份额?提升客户忠诚度?提高整体收入?降低