大数据处理在交换平台产品中的应用.docxVIP

大数据处理在交换平台产品中的应用 　　摘要：大数据时代，个人、企业数据快速发展，数据呈现海量、多样性特点，同时企业信息系统建设也日益复杂、庞大;如何处理海量、多样化数据，并且在多平台、多系统间实现数据的整合、交换，充分发挥企业数据价值，成为当前企业系统建设的巨大挑战。本文将对大数据处理在交换平台处理中的可视化、可监控、可管理、可配置上做一个简单介绍。 　　关键词：大数据;多系统;交换平台;可管理 　　中图分类号：tp311.52文献标识码：a文章编号：1007-9416（2019）12-0093-03 　　1大数据处理与交换方案 　　1.1bdpe概念 　　bdpe（大數据处理与交换bigdataprocessandexchange），是基于多年对大数据研究、使用成果的基础上，形成满足大数据、满足各行业的大数据处理与交换产品。 　　bdpe产品是基于分布式架构，实现对系统源数据的统一抽取、转换、加载，并在此基础上实现与外围系统的数据交换，同时提供跨平台的统一的作业调度及监控功能。如图1所示。 　　使用bdpe产品，可以帮助企业实现： 　　各信息系统数据的整合，实现统一的加工、处理与管理。 　　降低it系统建设开销，节约成本。 　　提供可视化的使用、运维界面，降低部署和运维难度。 　　1.2bdpe功能 　　采用分布式架构，产品性能随着设备扩容呈线性增长，不受扩容限制。 　　实现对企业内部信息系统（如订单、办公文件等）采集，按照企业统一的数据规范对信息进行合并、转换等操作，并对异构系统数据的统一处理、管理。 　　支持对企业外部（如互联网网页等）等结构化、非结构化数据的采集、转换与处理。 　　将系统数据处理与交换工作从人工运维管理转变为自动化运维管理，大幅提高it运维服务质量。 　　支持自定义的作业调度管理，依据事先配置好的调度策略（如优先级、逻辑关系等）、故障判断标准、恢复策略进行作业调度、故障恢复。 　　自动检测服务器的负载情况，如cpu、内存、i/o使用情况，进行智能调度，均衡各系统负载，保证系统良好的用户体验和系统的最佳响应。 　　自动监控it资源和系统运行状态，对系统故障和潜在风险实时报警、自动回复，提高系统的可靠性。 　　产品采用组件化设计思想，具有良好的开放性，支持第三方调用。 　　1.3bdpe技术特点 　　采用服务层、执行层、应用层的分层架构，有利于解耦、组合、安装和维护。 　　硬件和数据处理与交换平台由it维护人员维护，业务人员聚焦业务，各司其职，提高效率。 　　支持多种数据库及平台，支持多厂商的硬件。 　　广泛的数据源支持，支持异构数据源系统的数据抽取、支持多种数据抽取接口。 　　提供开发api，支持对第三软件或者产品的集成。 　　提供了可视化、拥有丰富组件的设计工具，降低了使用门槛。 　　采用workflow机制，通过多种工作流调度方法，可以将etlsession、数据库脚本等任务结合在一起，方便定制个性化、复杂的工作流，满足各种应用场景。 　　1.4bdpe关键能力 　　支持hadoop、mpp、spark、分布式内存平台处理非结构化数据。 　　支持跨hadoop、mpp、传统rdbms等平台及数据库调度，实现对流量运营、深度分析、主数据仓库、等应用库的调度与数据处理。 　　支持对小型机、x86服务器、调度流程的监控与处理、跨平台统一监控能力。 　　支持集群中节点在线添加、移除，自动部署agent代理，自动实现后续节点的监控、服务管理能力。 　　支持对执行job的新增、修改、删除等job管理操作数据不落地传输能力。 　　支持分布式内存数据计算，以多进程管道方式并行读取不同的接口文件高可用集群与负载均衡能力。 　　通过选举算法，确定服务端主server，发生故障，备server自动接管硬件线性扩展及功能横向扩展能力。 　　采用基于x86的分布式架构，能够利用系统可视化界面方便、快捷实现节点动态扩展，并且产品性能随着服务器扩展呈线性扩展。 　　产品采用组件化设计与开发，具有很好的扩展性，能快速应对未来系统扩展、技术发展要求可视化、定制化操作能力。 　　提供了丰富的图形化操作界面，支撑用户的日常运维、配置工作。如性能监控、实时监控、job监控、日志查看、job配置、模板管理等。 　　采用插件式开发，将对外服务、集成功能封装成api供其他软件调用。 　　2bdpe架构 　　2.1技术