大数据计算系统研讨.PDF

大数据计算系统研讨 肖侬 高性能计算国家重点实验室 国防科学技术大学计算机学院 nongxiao@nudt.edu.cn 2013-12-8、CCF第一届大数据学术会议，北京 计算系统发展总是“风生水气” 高性能计算-超高性能、高端计算 客户/服务器计算-九十年代广泛使用 集群计算-八十年代起步，今天商业主流 对等计算-九十年代末宠儿，自由免费“好” 网格计算-九十年代兴起，E-Science基础 云计算－网格目标的商业化实现 以计算为中心 “繁荣昌盛” 大数据时代的每一天：有…… 2940亿封电子邮件发送 100TB数据上传到Facebook 平均每个地球人每天发送42封 如果用2TB的硬盘储存 每年Facebook要新购11吨硬盘 1288个新移动应用可被 20亿小时电视与电影 下载, 日均下载量已达3500万 在Netflix上观看 10万3680小时视频 整个因特网的流量信息可以装满 上传到YouTube 1亿6800万张DVD光盘 2亿5000万张照片 需要67节载重50吨的车皮运送 上传到Facebook 2亿3000万条tweets 如果把它们都印出来，叠起来能有 80个埃菲尔铁塔那么高 在Twitter上发布 据预测，到2020年 每年总数据为35ZB 每年数据量增长60% 即1021 字节 其中非结构化数据增长80% 寻找“上帝粒子”：希格斯玻色子 欧洲粒子物理研究中心强子对撞机(LHC) 记录超过100PB的数据 （15P/年以上） 大数据处理的计算机 系统结构发展“任重道远” 面向领域的专用系统：以各个大型网络应 用运营公司为核心 Google，Facebook、淘宝、百度等 VCE 联盟of EMC,Cisco, Vmware ：UCS 通用的计算机系统： “大数据系统梦” Graph500 ：面向图算法问题 细粒度数据访问，局部性低、受访存和IO带宽影响 巨大、负载不均衡 Bigdata100排行榜即将推出 数据密集和计算密集型计算共存 存储系统I/O发展 新型固态存储发展提供了机会 Flash、FeRam、MRAM、PCM、 RRAM 长远看：忆阻器RRAM 容量、性能和可靠性 基于RRAM存储与运算耦合结构 我们的研究：在纳米交叉杆结构 上构建具有存储与运算耦合功能 的新型存储器结构 闪存存储系统成为主力之一 闪存存储成为主流：存储和互联网公司聚集此 高速固态存储控制卡：高速接口、低耗、非易