大数据流式计算应用特征和技术挑战.PDFVIP

STUDY 研究 大数据流式计算： 应用特征和技术挑战 孙大为 中国地质大学信息工程学院 北京 100083 摘要 在大数据时代，数据的时效性日益突出，数据的流式特征更加明显，越来越多的应用场景需要部署在流式 计算平台中。大数据流式计算作为大数据计算的一种形态，其重要性也不断提升。针对大数据环境中流式 计算应用所呈现出的诸多鲜明特征进行了系统化的分析，并从系统架构的角度，给出了大数据流式计算系 统构建的原则性策略。结合当前比较典型的流式计算平台，重点研究了当前大数据流式计算在在线环境下 的资源调度和节点依赖环境下的容错策略等方面的技术挑战。 关键词 大数据；流式计算；应用特征；在线调度；系统容错 doi : 10.11959/j.issn.2096-0271.2015032 Big Data Stream Computing: Features and Challenges Sun Dawei School of Information Engineering, China