置换本次演示标题.ppt

Connect Any 企业数据自动对接机器人方案 北京黑板报信息技术有限公司 公司介绍 北京黑板报信息技术有限公司是一家技术领先的数据连接与集成、数 据分析与管理、数据协同与聚合的云服务公司，致力于成为数据的集 成、分析、协同的行业领导者。我们专注于数据处理多年，对于数据 的连接、集成、分发、共享、挖掘、分析、协同、服务有着深刻的理 解，并有丰富的业务经验和强大的技术产品。 企业数据对接的五种方案 一、采用网页抓取技术 二、基于数据库日志（Goldgate、BinLog） 三、服务和服务之间的对接（SOA、ESB） 四、SQL自动转化为API接口，供第三方调用 五、基于Kafka连接器集成 采用网页抓取技术的数据对接 采用网页抓取技术的数据对接最适用于以下三种场景： 旧系统的改造：历史遗留系统，由于企业业务场景的变化或者商业模式的改变 ，原有老的系统已经满足不了新的需求，或者原有系统业务逻辑本身关联起来比较麻烦，典型的例如生产制造企业：销售订单-生产订单-采购订单-入库信息-出库信息，这些内部数据是从销售、生产，最终交付给客户完整一个流程，原有系统视角往往不能满足这些个性化需求；在原有系统上个性化升级要么价格昂贵，要么原开发商已经跑路或者拒绝升级改造，数据库表之间的关系分析起来也比较复杂，自开升级很难； 企业内部系统间的数据对接：例如，HR系统与OA、ERP系统之间的数据打通和对接，每个第三方公司协调起来做服务化接口非常困难； 企业内部系统与外部系统之间的数据对接，典型的例如快消品品牌企业、经销商与每个超市之间的数据对接，线下传统超市往往没有天猫、淘宝、京东那样的接口，全靠Excel导出、导入进行数据对接，或者Excel也没有，一个经销商、品牌商往往全国布局千家超市，数据清洗工作难以完成。 企业数据对接的五种方案 一、采用网页抓取技术 二、基于数据库日志 三、服务和服务之间的对接（SOA） 四、SQL自动转化为API接口，供第三方调用 五、基于Kafka连接器集成 基于数据库日志变化的数据对接 基于数据库日志变化的数据对接技术，可以做 到数据秒级的实时对接，不依赖于第三方系统 是否有接口，适合企业内部不同第三方系统之 间的数据对接，对数据对接实时性要求较高； 企业数据对接的五种方案 一、采用网页抓取技术 二、基于数据库日志 三、服务和服务之间的对接（SOA） 四、SQL自动转化为API接口，供第三方调用 五、基于Kafka连接器集成 基于SOA技术的数据对接 基于SOA技术的数据对接，适合原有系统各自 都有第三方接口对外提供服务，对事务要求很 高，几个业务逻辑同时变化的时候，只允许同 时成功，同时失败，例如：购物扣款系统。 IBM全球第一个SOA项目，就有我们的工程师 参与，我们还拥有前系统对接赫赫有名的厂商 TIBCO工程师，数据对接经验丰富。 企业数据对接的五种方案 一、采用网页抓取技术 二、基于数据库日志 三、服务和服务之间的对接（SOA） 四、SQL自动转化为API接口，供第三方调用 五、基于Kafka连接器集成 SQL自动转化为API接口，供第三方调用 只要会写SQL，我们提供插件技术，可以把您写 的SQL语句自动转化为开放API，供第三方系统调 用，只需要简单的配置就可以。 企业数据对接的五种方案 一、采用网页抓取技术 二、基于数据库日志 三、服务和服务之间的对接（SOA） 四、SQL自动转化为API接口，供第三方调用 五、基于Kafka连接器集成 Kafka连接器集成 集成场景： Kafka连接器从数据库获取现有数据以及对该数据的任何更改都可以流式传输到Kafka主题中。Kafka连接器中的JDBC连接器包含在Confluent Platform中，它可以作为源端从数据库提取数据到Kafka，也可以作为接收端从一个Kafka主题中将数据推送到数据库。几乎所有关系数据库都提供JDBC驱动，包括Oracle、Microsoft SQL Server、DB2、MySQL和Postgres。 典型成功案例 快消品行业： 某知名快消品品牌商在全国有数百家超市铺货，这些超市与该品牌商之间的数据对接全靠Excel或者人工网页下载，每家超市数据格式或者名词完全不一样，华北区每月都有10几个人花10几天做数据清洗，导入到自己的ERP中去，采用了我们网页数据抓取技术对接方案，每年节省了数百万花在数据清洗上的人工成本。 北京华联 沃尔玛 家乐福 京客隆 世纪华联 永辉超市 新华都 全福元北国 宽广… 销售数据 品牌商（经销商） Oracle、SAP、 用友、金蝶 ERP 库存数据 线下超市 典型成功案例 制造业：