cncc大数据报告(ccf网站用)37.pdfVIP

CNCC大数据论坛 大数据对计算机系统的挑战 李国杰 中国科学院计算技术研究所 2013 年10月，长沙 针对大数据应用，计算机 系统结构需要革命性的重构 计算机系统结构需要革命性的重构  历史上设计计算机系统的主要目标是充分发挥CPU的计算 性能，较少关心如何满足持续的数据存取要求。存储墙问 题尚未解决，又遇上大数据应用，计算机系统的负载发生 了本质性变化，计算机系统结构需要革命性的重构。  信息系统需要从数据围着处理器转改变为处理能力围着数 据转，关注的重点不是数据加工，而是数据的搬运；系统 结构设计的出发点要从重视单任务的完成时间转变到提高 系统吞吐率和并行处理能力，并发执行的规模要提高到10 亿级以上。构建以数据为中心的计算系统的基本思路是从 根本上消除不必要的数据流动，必要的数据搬运也应由 “大象搬木头”转变为“蚂蚁搬大米” 。 数据中心计算机与高性能计算机的区别 应用负载特征 任务的 性能 可靠性 性能 并行度 成本 要求 目标 要求 高通量计  网络服务 固有充 成本决 单个部件失 高通量： 算系统  海量规模：EB级数据， 定服务 效对应用影 提高单位 (数据中心) 亿级并发 足的线 提供者 响不大。不 时间内处  任务多样：负载频繁变化 程级并 的生存 同性质数据 理的并发 ，单个任务计算量不大 和收益 有不同的可 任务数目  局部性差：服务实例内部 行性 靠性要求： 相关性高，不同服务实例 如可再生数 之间相关性低 据和用户数 据可靠性的 差异 高性能计  科学和工程计算 需要用 优先追 单个部件失 高速度：  任务单一：负载变化不频 适当的 求性能 效可能导致 缩短单个 算系统 繁，单个任务计算量大 方法挖 ，再兼 整个应用计 并行计算 (应用) 顾成本 算停顿,需要 任务的运  局部性好：计算集中于若 掘出可 用检查点技 干核心任务，局部性有利 利用的 术来保存中 行时间 于加速核心计算速度和提 并行性 间计算结果 以恢复计算 高数据带宽、 过程。 4 从高性能计算机到高通量计算机