Flink环境下基于负载预测的弹性资源调度策略.docx

1 引言 随着信息化时代与互联网的高速发展，智能家居、智能医疗、智能工业、智能汽车等物联网[1]场景下产生的数据量日益增多，并与互联网共同成为各行各业大数据的主要来源。希捷（Seagate）公司与互联网数据中心（IDC,Internet Data Center）联合发布的《数据时代 2025》白皮书中预测，2025 年全球数据量将达到163 ZB，其中，超过25%的数据为实时数据。 由此可见，对大规模数据的实时分析和处理具有非常广阔的应用前景。就目前的研究成果来看，以 MapReduce[2]为代表的批量计算框架[3,4]的计算时延较高，无法满足业务的实时性要求。流式计算将处于活动状态的数据持