大数据处理技术参考架构.docVIP

大数据处理技术参考架构 二〇一五年十二月 目 录 TOC \o 1-3 \h \z \u \* MERGEFORMAT HYPERLINK \l _Toc443914569 1. 背景 PAGEREF _Toc443914569 \h 1 HYPERLINK \l _Toc443914570 2. 技术目标 PAGEREF _Toc443914570 \h 2 HYPERLINK \l _Toc443914571 3. 技术要求 PAGEREF _Toc443914571 \h 2 HYPERLINK \l _Toc443914572 4. 大数据处理业务场景 PAGEREF _Toc443914572 \h 3 HYPERLINK \l _Toc443914573 5. 大数据处理技术对比 PAGEREF _Toc443914573 \h 4 HYPERLINK \l _Toc443914574 5.1. MPP与HadoopSpark技术对比 PAGEREF _Toc443914574 \h 4 HYPERLINK \l _Toc443914575 5.2. HadoopSpark技术优势 PAGEREF _Toc443914575 \h 6 HYPERLINK \l _Toc443914576 5.3. Hadoop框架对比 PAGEREF _Toc443914576 \h 6 HYPERLINK \l _Toc443914577 5.4. Hadoop使用情况 PAGEREF _Toc443914577 \h 7 HYPERLINK \l _Toc443914578 5.5. Hadoop血缘关系 PAGEREF _Toc443914578 \h 8 HYPERLINK \l _Toc443914579 5.6. 行业大数据应用场景对比分析 PAGEREF _Toc443914579 \h 12 HYPERLINK \l _Toc443914580 6. 大数据处理参考架构 PAGEREF _Toc443914580 \h 13 HYPERLINK \l _Toc443914581 6.1. 参考架构 PAGEREF _Toc443914581 \h 13 HYPERLINK \l _Toc443914582 6.2. 与JavaEE体系对比 PAGEREF _Toc443914582 \h 14 HYPERLINK \l _Toc443914583 6.3. 参考架构运行状态 PAGEREF _Toc443914583 \h 15 HYPERLINK \l _Toc443914584 7. 总结与思考 PAGEREF _Toc443914584 \h 16 HYPERLINK \l _Toc443914585 附录：名词解释 PAGEREF _Toc443914585 \h 18 PAGE \* MERGEFORMAT19 背景 随着大数据时代的到来，数据由海量拓展为多样，在注重计算速度的同时更加关注挖掘有价值的数据。以IOE体系为核心的数据计算和存储方式越来越不能满足目前大数据处理在性能和成本上的综合要求。为适应对大数据处理的要求，众多的分布式计算平台随之兴起，在对众多分布式计算平台进行权衡的同时，增强自主创新能力，以满足人民银行对信息技术安全可控的要求。 在核心应用自主研发、核心知识自主掌控的氛围下，保障大数据技术达到灵活可用的目标，确保数据和信息的有效、及时，确保信息系统的可靠、灵活。同时，充分的利用开源产品透明公开的关键信息，做到对技术细节的掌控和验证，开源产品的特点也更能够激发开发者的热情并推进技术的快速变革。 在“互联网+”的战略布局下，当利用信息通信技术把互联网和包括金融行业在内的相关行业结合起来时，能够更加合理和充分的利用大数据技术促进互联网金融的健康发展。当前互联网金融的格局中，由传统金融机构和非金融机构组成。传统金融机构的发展方向主要为传统金融业务的互联网创新以及电商化创新、手机APP服务等；非金融机构的发展方向则主要是指利用互联网技术进行金融运作的电子商务企业、P2P模式的网络借贷平台，众筹模式的网络投资平台或掌上理财服务，以及第三方支付平台等。在金融行业新兴业态下，为促进互联网金融的健康发展，为全面提升互联网金融服务能力和普惠水平，为有效防范互联网金融风险及其外溢效应而提供技术支撑。 在金融领域，新生业态层出不穷，金融机构日益多样化，金融资产的流动性快速上升，金融体系的关联度、复杂度大幅提高。金融业的快速发展和创新，使货币政策操作环境、传导渠道发生重大变化。在数据的处理分析上，对原有的宏观审慎分析框架及其有效