大数据安全和应用.ppt

大数据安全与应用 目录 引言 → 电影《永无止境》 库珀能在短时间掌握无数公司资料和背景，也就是将世界上已经存在的海量数据（包括公司财报、电视、几十年前的报纸、互联网、小道消 息等）挖掘出来，串联起来，甚至将Face Book、Twitter的海量社交数据挖掘得到普通大众对某种股票的感情倾向，通过海量信息的挖掘、分析，使一切内幕都不是内幕，使一切趋势都在眼前， 结果在10天内他就赢得了200万美元。这部电影简直是展现大数据魔力的教材性电影，推荐没有看过的IT人士看一看。 在企业、行业和国家的管理中，通常只有效使用了不到20%的数据（甚至更少），如果剩余80%数据的价值激发起来，世界会变得怎么样呢？ 《永无止境》是由尼尔·博格执导的悬疑电影，由布莱德利·库珀、罗伯特·德尼罗和安娜·弗莱尔等联袂出演，所讲述的是一位落魄的作家库珀，服用了一种可以迅速提升智力的神奇蓝色药物，然后他将这种高智商用于炒股。 数据本质是生产资料和资产 不可再生资源VS数据 数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。 数据爆炸式增长（每分钟……） 需要不同“看”数据的方式 可视：结构化资料 15% 未视：半/非结构化数据 85% DB/DW 主管们看的 战情数位仪表板，其实是残缺的… 10万 GB 10万 TB 需要更高性价比的数据计算与储存方式 数据库DB 数据仓库DW 计算更快 存储更省 7 需要不同的数据管理策略 当我们想要扩充时， 才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受限 成本过高， cost-efficiency 受限 15% 结构化的 DB/DW 遗憾 残缺 每天几百 GB、 几 TB 的资料，且持续成长中 储存 Storing 在收数据的同时做必要的前置处理 (pre-processing) ，并区分数据处理的优先等级 (prioritizing) 计算 Processing 如何有效的避免因硬件毁坏所导致的资料损毁 管理 Managing 如何从中挖掘出所关注事件的 pattern 或 behavior 分析 Analyzing 超越企业现有 IT 的数据解决能力 大数据的来源 适应新时代，解决新问题 目录 二、什么是大数据 一、大数据的来源 更结构化 没有固定结构的数据，通常保存成不同类型的文件 举例：文本文档、PDF文档、图像和视频 具有不规则数据格式的文本数据，通过使用工具可以使之格式化 举例：包含不一致的数据值和格式的网站点击数据 具有可识别的模式并可以解析的文本数据文件 举例：自描述和具有定义模式的XML数据文件 包括预定义的数据类型、格式和结构的数据 举例：事务性数据和联机分析处理 什么是数据？ 12 Social Media Machine / Sensor DOC / Media Web Clickstream Apps Call Log Log 什么是数据？ 半结构化/非结构化数据 3/13/2012 4 什么是大数据？ 何为大？—数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes 3/13/2012 6