NoSQL、RDS和大数据异构融合实例分享.pdf

NoSQL、RDS和大数据 异构融合实例分享 关于我 关注微博 (@萧少聪Postgres) 萧少聪(铁庵) Scott Siu 中国广东·中山人 Postgres中国用户会 创始人之一 阿里云ApsaraDB PG/PPAS产品经理 EnterpriseDB认证数据库专家 RedHat RHCA认证架构师 提 纲 ? Why Postgres ? Why FDW ? FDW: SQL Everything加速传统行业转型 ? FDW: 金融报文处理 ? FDW: 物联网数据整合 ? FDW: 解决企业并购重组问题 Why Postgres - History 参考：/wiki/File:RDBMS_timeline-2.svg Why Postgres - History 参考：/wiki/File:RDBMS_timeline-2.svg Why Postgres - 开放 ? 基于BSD/MIT协议：对所有人免费，可以任 意处置，包括使用，复制，修改，合并，发 表，分发，再授权，或者销售。唯一的限制 是，软件中必须包含上述版权和许可提示。 ? 比其它开源协议如 GPL / Apache 更开放适 合于长远的企业战略发展 Why Postgres - 稳定 ? 多程衍生产品已经用于传统金融、通讯、能 源企业认可，如： 平安集团(平安科技)、MasterCard 浙江移动、日本NTT、韩国KT 国家电网 ? 超过40年历史，专注于OLTP事务处理 Why Postgres - 企业功能 ? 数据流式复制（9.6支持多节点全同步） ? 基于ACID的JSON及KV数据类型 ? PostGIS地理信息模型 ? FDW对接第三方数据源，或实现Sharding ? 可扩展支持R语言、网络、生物、化学等函数 ? 唯一明确说明对SQL 2011的兼容程度90% Why Postgres - 机遇 ? 中国使用量相比国外为 1:30 潜力巨大 ? 中国查询指数比2011年提高5倍以上 ? 众多国内外商业数据库都基于 Postgres，生 态丰富，大有成为数据库界 Linux 之势 ? 国家自主、可控、开源的风向支持 提 纲 ? Why Postgres ? Why FDW ? FDW: SQL Everything加速传统行业转型 ? FDW: 金融报文处理 ? FDW: 物联网数据整合 ? FDW: 解决企业并购重组问题 Why FDW - 传统企业现有的数据操作模型 Oracle MSSQL MySQL OA系统 财务系统 业务系统 CRM/ERP Why FDW - 传统企业面向互联网/物联网需 求 Oracle MSSQL MySQL OA系统 财务系统 业务系统 CRM/ERP 互联网/物联网新应用 MongoDB 新代码 新代码 新代码 新代码 Why FDW - 传统企业整合大数据处理 Oracle MSSQL MySQL OA系统 财务系统 业务系统 CRM/ERP 互联网/物联网新应用 MongoDB 新代码 新代码 新代码 新代码 Hadoop Spark HBase 定期ETL清洗 定期ETL清洗 MapReduce MapReduce Why FDW - 传统企业(ISV)面临的问题总结 ? 时间：不抓紧时间转型将可能错失良机 ? 复杂：新架构跨界操作多管理难 ? 团队：新知识积累不足，抗风险能力低 Why FDW - 什么是Postgres FDW ? FDW全称Foreign-Data Wrapper ? 简单来说就是PostgreSQL中的外部表功能 ? 得益于PostgreSQL源代码的开放性，当前已经支持 包括：MongoDB、Redis、MySQL、SQL Server、 Oracle、Hadoop、Hive、Elastic Search等近30 种不同的外部数据源 参考：/wiki/Foreign_data_wrappers Why FDW - 什么是Postgres FDW FDW NoSQL: MongoDB / Redis ... BigData: Hadoop / Spark ... RDS: MySQL / SQL Server ... Other: OSS / Excel ... Tables 提 纲 ? Why Postgres ? Why FDW ? FDW: SQL Everything加速传统行业转型 ? FD