大数据安全与应用.ppt

大数据安全与应用; 目录; 引言 → 电影《永无止境》; 数据本质是生产资料和资产;; 需要不同“看”数据的方式;10万 GB;;; 大数据的来源;;更结构化;;3/13/2012;何为大？—数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes;《红楼梦》含标点87万字（不含标点853509字） 每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes 1GB 约等于 671部红楼梦 1TB 约等于 631,903 部 1PB 约等于 647,068,911部 美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ） 中国国家图书馆：2631万册 1EB = 4000倍 美国国会图书馆存储的信息量 600美元的硬盘就可以存储全世界所有的歌曲 MGI估计,全球企业 2010 年在硬盘上存储了超过 7EB(1EB 等于 10 亿 GB) 的新数据,同时,消费者在 PC 和笔记本等设备上存储了超过 6EB 新数据; 对于“大数据”（Big data）研究机构Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。; 大数据带来的思维变革; 大数据带来的思维变革（更多）;人口大普查 全数据模式;人口大普查 全数据模式; 大数据带来的思维变革（更多）; 大数据带来的思维变革（更杂）; 大数据带来的思维变革（更好）; 大数据的构成; 大数据的4V特征; 大数据的4V特征（Volume）; 大数据的4V特征（Velocity）;; 大数据的4V特征（Value）;;Volume 海量的数据规模; 大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构。 ; 软件是大数据的引擎; IBM CP Industry ;;;ETL 数据众包 （CrowdSouring）;;ETL 数据众包 （CrowdSouring）;;;;;; 大数据涉及的关键技术——非关系型数据库NoSQL;; 大数据涉及的关键技术——非关系型数据库NoSQL; 大数据涉及的关键技术——非关系型数据库NoSQL;;白云下面数据跑;;ETL 数据众包 （CrowdSouring）;A/B测试是可用性测试的一个方法，其核心为：同时实验两个元素或版本（A和B），确定哪个更好。;ETL 数据众包 （CrowdSouring）;标签云（Tag Cloud）是一套相关的标签以及与此相应的权重。权值影响标签的字体大小、颜色或其他视觉效果。典型的标签云有30至150个标签，用以表示一个网站中的内容及其热门程度。标签通常是超链接，指向分类页面。;聚类图（Clustergram）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。;空间信息流（Spatial information flow）是展示信息空间状态的一种可视化技术。; 目录; 亚马逊 “预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。 这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。 所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽