大数据存储与处理-XiamenUniversity.PDFVIP

大数据存储与处理 韩冀中 Email: hanjizhong@iie.ac.cn 中国科学院信息工程研究所 “大数据” 近两年信息技术领域最时髦的词汇 “The challenge– “Ten reasons why Big “Why big data is and opportunity– Data will change the a big deal” of big data” travel industry” 麦肯锡全球研究所去年的调查报告显 InfoWorld – 9/1/11 McKinsey Quarterly—5/11 Tnooz -8/15/11 示，美国需要14万至19万名以上具备 “深度分析”专长的人员，而对具备 “Keeping Afloat in “Getting a Handle on “The promise of a Sea of Big Data” Big Data with 数据知识的经理的需求超过150万。 Big Data” Hadoop” ITBusinessEdge – 9/6/11 Businessweek-9/7/11 Intelligent Utility-8/28/11 大数据无处不在 • 科学研究 – 基因组 – LHC 加速器 – 地球与空间探测 • 企业应用 – Email、文档、文件 – 应用日志 – 交易记录 • Web 1.0数据 – 文本 – 图像 – 视频 • Web 2.0数据 – 查询日志/点击流 – Twitter/ Blog / SNS – Wiki 大数据的四个特征 SOCIAL BLOG 101100101001 001001101010 SMART 101011100101 METER 010100100101 VOLUME VELOCITY VARIETY VALUE 大量化 快速化 多样化 大数据不仅仅是数据的“大量化”，而是包含“快速 化”、“多样化”和“价值化”等多重属性。 Volume—— “大量化” • 2010年，全球数据量已达1.2ZB，到2020年将暴增 30倍达35ZB 数据的量度 进入大数据的时代 • 2011年，中国互联网行业持有数据总量达到1.9EB （1EB字节 相当于10亿GB ） • 2011年，全球被创建和复制的数据总量为1.8ZB （1.8万亿GB ） • 2013年，我们生成这样规模的信息量只