大大数据处理技术参考架构.pdfVIP

实用文档 大数据处理技术参考架构 二〇一五年十二月 文案大全 实用文档 目 录 1. 背景 1 2. 技术目标 2 3. 技术要求 2 4. 大数据处理业务场景 3 5. 大数据处理技术对比 4 ADOOP PARK 5.1. MPP与 H S 技术对比 4 ADOOP PARK 5.2. H S 技术优势 6 ADOOP 5.3. H 框架对比 6 5.4. HADOOP使用情况 7 5.5. HADOOP血缘关系 8 5.6. 行业大数据应用场景对比分析 12 6. 大数据处理参考架构 13 6.1. 参考架构 13 AVA 6.2. 与 J EE体系对比 14 6.3. 参考架构运行状态 14 7. 总结与思考 16 附录：名词解释 18 文案大全 实用文档 1. 背景 随着大数据时代的到来， 数据由海量拓展为多样， 在注重计算速度的同时更 加关注挖掘有价值的数据。 以 IOE体系为核心的数据计算和存储方式越来越不能 满足目前大数据处理在性能和成本上的综合要求。为适应对大数据处理的要求， 众多的分布式计算平台随之兴起， 在对众多分布式计算平台进行权衡的同时， 增 强自主创新能力，以满足人民银行对信息技术安全可控的要求。 在核心应用自主研发、 核心知识自主掌控的氛围下， 保障大数据技术达到灵 活可用的目标，确保数据和信息的有效、及时，确保信息系统的可靠、灵活。同 时，充分的利用开源产品透明公开的关键信息，做到对技术细节的掌控和验证， 开源产品的特点也更能够激发开发者的热情并推进技术的快速变革。 在 “互联网 +”的战略布局下，当利用信息通信技术把互联网和包括金融行业 在内的相关行业结合起来时， 能够更加合理和充分的利用大数据技术促进互联网 金融的健康发展。当前互联网金融的格局中， 由传统金融机构和非金融机构组成。 传统金融机构的发展方向主要为传统金融业务的互联网创新以及电商化创新、 手 机 APP 服务等；非金融机构的发展方向则主要是指利用互联网技术进行金融运 作的电子商务企业、 P2P模式的网络借贷平台，众筹模式的网络投资平台或掌上 理财服务， 以及第三方支付平台等。 在金融行业新兴业态下， 为促进互联网金融 的健康发展， 为全面提升互联网金融服务能力和普惠水平， 为有效防范互联网金 融风险及其外溢效应而提供技术支撑。 在金融领域， 新生业态层出不穷， 金融机构日益多样化， 金融资产的流动性 快速上升，金融体系的关联度、复杂度大幅提高。金融业的快速发展和创新，使 货币政策操作环境、 传导渠道发生重大变化。