最新大数据处理综合处理服务平台的设计与实现.docxVIP

大数据处理综合处理服务平台的设计与实现 （广州城市职业学院 广东 广州510405） 摘要：在信息技术高速发展的今天，金融业面临的竞争 日趋激烈，信息的高度共享和数据的安全可靠是系统建设中 优先考虑的问题。大数据综合处理服务平台支持灵活构建面 向数据仓库、实现批虽作业的原子化、 参数化、操作简单化、 流程可控化，并提供灵活、可自定义的程序接口，具有良好 的可扩展性。该服务平台以 SOA为基础，采用云计算的体 系架构，整合多种 ETL技术和不同的ETL工具，具有统一、 高效、可拓展性。该系统整合金融机构的客户、 合约、交易、 财务、产品等主要业务数据， 提供客户视图、客户关系管理、 营销管理、财务分析、质虽监控、风险预警、业务流程等功 能模块。该研究与设计打破跨国厂商在金融软件方面的垄断 地位，促进传统优势企业走新型信息化道路， 充分实现了 “资 源共享、低投入、低消耗、低排放和高效率” ，值得大力发 展和推广。 关键词：面向金融，大数据，综合处理服务平台。 一、研究的意义 目前，全球IT行业讨论最多的两个议题， 一个是大数据 分析 “ Big Data ”， 一个是云计算 “Cloud Computing ”。中 国五大国有商业银行发展至今，积累了海虽的业务数据，同 时还不断的从外界收集数据。 据IDC （国际数据公司）预测, 用于云计算服务上的支出在接下来的 5年间可能会出现3 倍的增长，占据IT支出增长总虽中25%的份额。目前企业 的各种业务系统中数据从 GB、TB到PB虽级呈海虽急速增 长，相应的存储方式也从单机存储转变为网络存储。传统的 信息处理技术和手段，如数据库技术往往只能单纯实现数据 的录入、查询、统计等较低层次的功能，无法充分利用和及 时更新海虽数据，更难以进行综合研究，中国的金融行业也 不例外。中国五大国有商业银行发展至今，积累了海虽的业 务数据，同时还不断的从外界收集数据。通过对不同来源， 不同历史阶段的数据进行分析，银行可以甄别有价值潜力的 客户群和发现未来金融市场的发展趋势，针对目标客户群的 特点和金融市场的需求来研发有竞争力的理财产品。所以， 银行对海虽数据分析的需求是尤为迫切的。再有，在信息技 术高速发展的今天，金融业面临的竞争日趋激烈，信息的高 度共享和数据的安全可靠是系统建设中优先考虑的问题。随 着国内银行业竞争的加剧，五大国有商业银行不断深化以客 户为中心，以优质业务为核心的经营理念，这对银行自身系 统的不断完善提出了更高的要求。 而“云计算”技术的推出， 将成为银行增强数据的安全性和加快信息共享的速度，提高 服务质H、降低成本和赢得竞争优势的一大选择。 面向金融领域的海虽数据综合处理服务平台融合了分 布式云计算技术、SOA技术、ETL技术、作业调度技术，以 SOA为基础，采用云计算的体系架构，整合多种 ETL技术 和不同的ETL工具，为金融行业建立统一、 高效、可拓展的 面向金融领域的海虽数据综合处理服务平台。该平台支持灵 活构建面向数据仓库、数据集市、数据集文件进行海虽数据 的处理、加工和交换，实现批虽作业的原子化、参数化、操 作简单化、流程可控化，并提供灵活、可自定义的程序接口， 具有良好的可扩展性，是一个基础服务框架的产品平台。该 系统整合金融机构的客户、合约、交易、财务、产品等主要 业务数据，提供客户视图、客户关系管理、营销管理、财务 分析、质虽监控、风险预警、业务流程等功能模块。系统支 持构筑面向运营的服务平台，可以按功能点或数据H来向使 用方收费，使用方按格式要求提供数据，然后点击相关功能 模块得到目标结果。 随着全球各行业对数据整合应用需求的扩大， “面向金 融领域的海虽数据综合处理服务平台”的需求将会越来越 大。该平台为银彳了、证券、保险彳丁业等金融领域服务业创新 和转型升级提供决策支持，能有效推进信息化技术在传统金 融优势产业的融合渗透，属于国家优先发展和重点支持技术 领域。从宏观的角度来看，通过本服务平台的实施，能促进 我国金融信息化的发展，调整产业结构，同时增强企业品牌 竞争力，提高企业在国内外信息科技领域的知名度，打破跨 国厂商在金融软件方面的垄断地位，促进传统优势企业走新 型信息化道路，完善社会主义市场经济体制，符合我国“十 二五”规划刚要发展的特点，对全面建设小康社会新胜利、 推进中国特色社会主义伟大事业，具有十分重要的意义。 二、平台设计的技术线路 1、 基础技术架构采用了当前先进的云计算技术，系统 采用基于Hadoop架构计算模式，突破传统数据库系统对海 虽数据处理的速度限制，通过对大虽数据的并发访问和处 理，极大地提高了数据处理效率。 2、 基于SOA方式的批虽处理作业调度逻辑设计，采 用集中式管理、分布式、多节点并行运算的设计概念，实现 跨平台、面向数据