互联网数据工程重点实验室.ppt

This is hard 如何判断一个大规模图上的操作是可以并行处理的 如何设计一个适合并行处理大规模图的计算模型 如何开发科处理大规模图上的常用算法的通用系统 大图并行的解决方案 高可扩展并行图处理系统 研究内容 本课题针对高可扩展并行图处理系统在海量复杂生物数据的分析组装的应用，力图从以下3个方面展开研究： 可扩展的图算法数学抽象：使用基于群论的代数系统来抽象图算法，使得图算法上的边和点对应于计算机中的计算操作和访存地址，并将该读写操作规约为原子操作，使得多个这样的互斥的原子操作可以同时并发执行。 可扩展的并行计算模型: 基于子集同步全局异步的并行计算模型。 可扩展的并行图处理框架：基于子集同步计算模型，开发可自动挖掘潜在并行子集，自动回避读写冲突，尽可能的提高系统效率的并行图处理框架。 在以上三方面进行深入的研究后，开发性能优异的系统原型系统以运用于海量复杂生物数据的组装分析。 研究目标 本课题将围绕高可扩展图处理系统的研究和开发，以海量复杂生物数据上的组装分析为应用，期望达到如下目标： 使用代数系统的半群来抽象在大规模图结构上的现实问题。 提出计算模型来处理一部分紧耦合难并行的大规模图算法。 开发新的大规模图处理框架，其可处理的最大数据量可到100T, 图顶点规模可达到200G，系统可运行于万颗核心。 基于该图处理框架开发的生物数据的组装应用软件，可以在1小时内处理分析完人类数据，并达到现有最快的商业组装软件40倍加速。 研究目标-可扩展性 研究目标-图规模 研究目标-计算时间 拟解决的关键问题 本课题拟解决的4个关键问题： 复杂生物数据组装问题等价于一个代数系统上的半群 弱关联紧耦合的图算法可以用更加泛化的代数系统中的半群来描述 子集同步全局异步的计算模型 能够最大程度的挖掘半群中的可并行子集的图处理框架 拟采取的研究方案-算法数学抽象 算法数学抽象： 确定可解决问题的范围 图是弱关联的 图可以是紧耦合 求解的是全局问题 计算是规则的 确定计算抽象 抽象出原子计算 确定计算关联的数据 确定计算关联的集合 生物组装抽象为边合并 Jintao Meng, Jianrui Yuan, Yanjie Wei, Jiefeng Cheng, Shengzhong Feng, Small World Asynchronous Parallel Model for Genome Assembly, in 9th IFIP International Conference on Network and Parallel Computing (NPC 2012), Sep.6, Gwangju, Korea (EI) 拟采取的研究方案-算法数学抽象 算法数学抽象： 确定可解决问题的范围 图是弱关联的 图可以是紧耦合 求解的是全局问题 计算是规则的 确定计算抽象 抽象出原子计算 确定计算关联的数据 确定计算关联的集合 迭代直到收敛： 我的权重就是我邻居的权重的平均值 拟采取的研究方案-计算模型 计算模型 （路由协议） 匹配数据和计算 缺失数据调取 数据一致性保证 更新数据 以计算为核心 数据可随机分布 数据传输依赖网络 互斥协议保证 同步依赖于消息 互斥依赖于信令 最大的人工网络： 互联网 唯一的计算就是路由 其路由是实时自动计算的 Liansheng Tan, Jintao Meng, Jie Li and Han-Chieh Chao, PH-MAC: A Periodically Hybrid MAC Protocol for Wireless sensor networks, Journal of Internet Technology, Taiwan, Nov 2007. (SCI, Impact Factor = 0.508) 拟采取的研究方案-计算模型 计算模型 （路由协议） 匹配数据和计算 缺失数据调取 数据一致性保证 更新数据 以计算为核心 数据可随机分布 数据传输依赖网络 互斥协议保证 同步依赖于消息 互斥依赖于信令 网络只负责路由（数据移动） 网络不负责内容（计算） 网络是自组织的 网络是无尺度的 Jintao Meng, Jianrui Yuan, Shengzhong Feng, Yanjie Wei. An Energy Efficient Clustering Scheme for Data Aggregation in Wireless Sensor Networks, (to appear) In Journal of Computer Science and Technology, 2013. (SCI 3区, Impact Factor = 0.