用企业级存储构架大数据系统.pdf

用企业级存储构架大数据系统 宏杉科技：许云松 数据计量单位 《红楼梦》 1TB = 631,903 X 共87万字 美国 1EB = 1024PB = 4000 X 国会图书馆 1.5亿册藏书 1ZB = 1024EB 3 大数据时代 全球数据增长计数器（截至2011/12/15） 1.8 ZB 2011 年全球数据量 全球数据量预测 35 30 35 ZB 25 20 数据量 15 2020 年全球数据量 10 5 0 2009 2010 2011 2015 2020 资料来源：IDC编制的年度数字宇宙研究报告 《从混沌中提取价值》 4 数据的来源 全球每秒钟发送 290万封电子邮件，一个人昼夜不息的读需 要5.5 年。 每天会有 28,800个小时的视频上传到YouTube，一个人昼夜 不息的观看需要3.3 年。 微博上每天发布 5 千万条消息，需要一个人昼夜不息的浏览 需要16 年。 每天的活跃数据量已经超过50TB，共有4 亿条产品讯息，每 天超过 4000 万人次访问。 每日新增数据10TB，每天系统需要处理1PB 的数据，每天提交 10000+jobs。 5 大数据的本质是 数据分析 面对浩如烟海的信息，如何创造出有价值的东西，为个人和社会提供有益的服务，必 须对海量信息进行搜索、挖掘、分析。通过用户行为分析实现精准管理、科学决策和 人性化服务是大数据的典型应用。 6 大数据分析案例 谷歌预测流感：在人们进行网络搜索时，谷歌通过追踪”咳嗽”、”发烧”等词汇， 准确判断流感在哪里扩散。谷歌在美国的九个地区做了测试，并比联邦疾病控制和预 防中心提前了7 到14 天准确预测了流感的爆发。 Farecast预测机票价格走势：2012年，Farecast系统用将近十万亿条价格纪录来帮