《大数据平台架构建设方案》.docxVIP

大数据平台架构建设方案 大数据平台逻辑上涉及数据源层、交换层、数据整合层、共享层和应用层五个层次。其中，交换层、数据整合层和共享层是大数据平台核心层次， 而数据源层和应用层是与大数据平台密切相关的外围层次。 ~ ~ ._- 力 牛 ＃ 三 .-. - ＝ ；r了．：日 2. 1 数据源层 数据源层是大数据平台范围之外的一层， 它是一个虚拟的层次， 在数据源层中的各数据库原则上就是各部门的原始数耜口 这些 数据 可以存放在大数据中心也可以存放在各部门数据中心；这 些数据可以是存储在数据库中的数据， 也可以是存储到文件中的数据； 还可以是声音.. 图 片，， 文件等非结构化数据。这些数据为大数据平台提供某础数据源。 2i 2 交换层 由于大数据平台拥有复杂的数据来源守交换层的存在目的是消除各个 数据来源的数据库的异构性。由于数据源中的各种数据存放在不同的数拫库、不同的应用中， 直接从业务系统中进行数据转换并不容易。交换层朼不同部门的业务系统中的数据抽取到统一的数据结构中漕而 数据之间的逻辑关系都与业务系统保持一致， 人人降低了数据整合的复杂性。 23 数据整合层 ”据整合层包括通过数据交换平台将各部们业务数据交换过来的原始 业务库和通过数据运行管理平台整合（消洗、比对等）后的人口、法 人、自然资源与空间地理、宏观经济以及面向需求的（如： 低保、 教音、医疗、征信等）专题数据库。其中r 数据运行管理平台是一个利用专业 具并盂要人为干预的对数据持续更维护 分析和更新的管理平台。 4 共享层 共享层通过服务的形式对数据、分析模型和大数据平台的计算能力对上层的业务应用的功能需求提供全方位支撑。 2, 5 应用层 应用层和数据源层一样是大数据平台范围之外的一层， 本 层次主要是一些面向具体业务应用的需要大数据平台提供数据支撑的各亚雾紊羲g 3, 大数据平台软件建设 1 数据交换平台 通过数据交换工具构建大数据平台交换层数据交换平台。实现跨区域、跨网段、跨部门的数据实时交换、集成与共享。 通过数据交换平台， 按照统一的标准和规范， 将各个部门的数据资源汇总到数据整合层的原始业务库， 各部门数据的汇聚和传递， 满 足 员庾今数据库的基本数据需求，，为 政 务 协 同 、 公 共服务和辅助决策等提供信息交换和共享服务。 数据交换的目的是实现传输过程中的“不错飞不 丢 、 不蜇＂ 。数据交换系统核心的功能包括数据桥接子系统、消息总线系统、前置交换子系统和交 换管理监控子系统心 硒 酝 尧 仁，皇 片阜 玉嗣U丞 云可 謹 文妾应用予女+ 还 ? 究压用罕士兰位 估已妥磊;------------------1 估已妥磊 ，，， 父控平台 ， ， I I I ---------r 1 杜_怍烹立------ _T __________ 杜 _怍烹立 ------ _T __________ 信三，王 灶亨- －－－－－－-－ ..:讷!n五 ------------－- .－＿＿＿＿＿＿ _ 灶亨 - －－－－－－-－ .. lIl 骨予活＂ 引雪 吓 釭 汕咪奴［幻岭筒） 喻檐沈构汛堇 作业与沁蚌玑 作业与沁蚌玑 I 玩 赶芝币 mm．恐霉高 1 IIL 至亡杖节严＂＇ 主 守冷系竺 l 袄井压 业文＇仁粤皿 业扫  符掩诬 业＊WII  百置＇文匝系饭 面暨交1l东茫 井仕庄子士务 兵觉蜕务王子｀ A袍欢会业 卒耟 豆砰 点妒＇1 I 伞迅允归节点音1『7  ＂人 于牧 另和，七 ( 1 ) 交 换 桥 接 子 系 统 桥接系统的功能完成部门业务系统信息库与前置信息库（或交换平台） 之间双向安全｀一可抱的信息 交换，并 实现数据格式转换。桥接实现方式包括直聪组妾 通过网闸等定时或实时传输。主要功能包括数据映崩罕亨严 、呵同闸苍适配界2网问 、呵 同闸苍 适配界2 据提取、数据抽取、过滤规则配置、数据转换｀数据导出、数据导入、监控管理等功能。 ( 2 ) 消息总线系统 消息总线系统即交换传输系统，作为前置交换系统之间的信息交换通 追， 实 现交换信息的打包、转换、传递、路由、解包日志服务等功能。消息总线系统功能和特点如下： 消 息传送应支持 HTTP 协议： 采用SOAP 1 2 作为消息封装格式： 提供消息寻址功能嘈支持信息路由功能； 提供消息确认和消息选择性單发机制以实现前匣交换子系统之间安全的、可靠的信息传递功能； 提供悄息差铅处理功能； 古持各种主流操作系统； 提供信息转换功能，支持基千规则配置的格式转换与内容转换 功能。 ( 3 ) 前 置 交 换 子 系 统 为确保各部门的职有系统的运行不被资源整合所影响，保障原系统的 数