数据交换模式的区分v0.1.ppt

All statements regarding HIGHGO's plans, directions, and intent are subject to change or withdrawal without notice. Any reliance on these statements are at the relying party's sole risk and will not create any liability or obligation for HIGHGO. ? 2009 HIGHGO Corporation ? 2009 HIGHGO Corporation HIGHGO Research HIGHGO Research - Almaden ? 2010 HIGHGO Corporation HIGHGO Almaden Research Center ? 2009 HIGHGO Corporation ? 2010 HIGHGO Corporation ? 2010 HIGHGO Corporation ? 2009 HIGHGO Corporation HIGHGO Almaden Research Center ? 2010 HIGHGO Corporation * 应用间数据交换模式 数据交换方式 目的是，了解流行的数据交换方法，了解不同方法的优缺点和使用范围，辨别出可能是HVR产品的机会 。 目前流行的分布式系统间，应用间交换数据的方式大致分3种，基于消息的实时通信，基于数据库复制，基于文件FTP交换。消息交换可以采用商业中间件或自行socket编码实现。这几种方式也可以混合使用，完成不同的需求。 其他交换方式，例如磁盘镜像（容灾），离线交换（备份归档），不做讨论。 * 客户应用 消息中间件 数据库 文件系统 发消息 读写数据 读写文件 应用系统A 消息中间件 客户应用 数据库 文件系统 发消息 读写数据 读写文件 应用系统A 中间件消息交换 数据库交换 文件交换 离线交换 TCP/IP消息交换 小结-其中红色部分为重点区分 * 交换方式 方式 时延 典型场景 源端要求 容错 实施 产品 消息传递 同步、异步、 双向、 发布/订阅 毫秒 传递业务层任务和信息。例如需要几个系统间配合完成的支付交易 ?源端均做应用开发?双方约定消息格式 数据格式靠应用保障，低传输靠中间件和专网保障 应用改造 消息中间件MQ，TongQ，kafka或自行开发 数据库同步 异步 多单向 秒-分钟 数据库复制通常与业务无关。源和端数据变化要求一致。经常用于读写分离，容灾，数据共享场景 ?源端为数据表，目标不限?格式以源端定义为主，可变余地不大。 数据格式受表结构约束，低网络靠专有网络保障 配置及数据库脚本 CDC/OGG/HVR/迪思捷 文件分发 异步 分钟以上，小时，天（取决文件大小） 不要求实时的批量业务居多。例如文件分发（数据源本身就是文件）；数据仓库（跑批export成文件），日志归集处理 ?源目标文件?双方定义文件格式 格式靠文件格式保障，高。网络要求不高，可以穿过公网。 FTP及脚本 FTP可靠传输软件，如需转换选ETL工具。 混合模式1 消息+文件 秒-分钟 如地市到国土部委，数据同步 为了避免源端（县）做改造和联调工作量过大，所以利用规定格式的文件做接口，解耦源和端差异和改造过程，准备好一个上一个，提高容错能力和上线速度。 混合模式2 数据同步+文件 秒-分钟 HVR同步国土文件场景 HVR+ETL实现准实时数仓导入。 在同步响应的记录时，可以读取响应记录对应的文件，同时进行传输。 优缺点 优点是： 1.实时性，通常系统要求毫秒级响应。 2 容易控制权限。通过传输层协议https，加密传输的数据，使得安全性提高 3 通用性比较强，无论客户端是.net架构，java，python 都是可以的。尤其是webservice规范，使得服务变得通用 缺点是： 1 服务器和客户端必须同时工作，当服务器端不可用的时候，整个数据交互是不可进行。 2 当传输数据量比较大的时候，严重占用网络带宽，可能导致连接超时。使得在数据量交互的时候，服务变的很不可靠。 * 2 基于中间件的消息方式 基于第一种模式的缺点，系统间消息可以通过消息中间件。保障可靠，安全，及时的传输。 广泛应用于大规模分布系统（淘宝），异构系统间（银行），跨公司系统（银行间），即时通信(微信)，物联网（数据采集）系统实时的业务交互。 目前市场上有很多消息中间件，比如MQ，TQ，?ActiveMQ，kafka?。 * 优缺点 这种方式的优点 开发简单 可以采取同步，异步，可靠性的消息处理，消息中间件也可以独立出来部署。 保证一定传到，且