Spark SQL性能提升最佳实践.docx

? ? ? ? ? ? ? Spark SQL性能提升最佳实践 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 摘要 　　在互联网运营商等大规模、超大规模用户中，Spark是比较受欢迎的大数据系统，Spark对于内存依赖性很强，所以当负载提高时，硬件平台的内存挑战就会十分明显，浪潮为国内语音识别服务提供商引入了Intel傲腾内存，经过整体优化测试，整体性能提高了17.7倍。 背景介绍 　　挑战：内存规模限制使 Spark 优势无法充分发挥 　　Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，常用来构建大型、低延迟的数据分析应用程序。Spark一个主要特点在于，其能够在内存中进行计算，这使得其数据分析效率往往高于其它计算引擎，但是，服务器内存资源的限制也使得其性能的扩展存在着一定的瓶颈，在超大规模负载中无法充分发挥其利用内存进行计算的性能优势。 　　某全球语音识别服务提供商是较早将Spark应用到生产环境的团队之一，该公司的语音云通过几千台服务器构成的云计算平台向用户提供多样的、实时语音处理能力，日均服务终端用户超过15亿，日增数据超过100TB。 　　2014年该公司基于Spark和AI技术构建了DMP大数据平台（用户数据管理平台）。DMP平台的主要功能就是收集、存储、分析和挖掘庞大的用户数据，以实现广告精准投放。