区块链与大数据生态系统的融合以及应用实践丛宏雷.ppt

区块链与大数据生态系统的融合以及应用实践 丛宏雷 | conghonglei@ 蒋守壮 | jiangshouzhuang@ 万达网络科技集团 大数据中心 目 录 01 02 03 04 05 Hyperledger部署和应用痛点 Hyperledger+大数据项目解决方案 区块链和Linux Hyperledger 区块链与大数据生态系统应用案例 Hyperledger+大数据项目开发流程 Hyperledger部署和应用痛点 Hyperledger 和大数据 生态圈隔离 Hyperledger 集群环境 部署复杂 Hyperledger镜像版本多 Docker运行环境重复部署 跨主机之间容器通信 无法快速为测试或开发提供Hyperledger环境 Hyperledger与大数据生态圈隔离 无法挖掘Hyperledger中生成的数据潜在价值 Cloudera Manager Cloudera Manager背景介绍 CDH市场领先的管理平台，提供组件级别细粒度的可视化和控制 集中式地操作大数据软件栈，方便部署，配置，服务启停，扩容和升级等 Hyperledger+大数据项目解决方案 01 03 04 Harbor 企业级镜像 仓库 通过CM自动化 快速部署 Docker和Hyperledger 容器环境， 实现监控和管理 开发接口，实现 Hyperledger与大数据组件 交互， 比如Spark获取Hyperledger 数据进行分析 02 Etcd+Calico实现 跨节点容器间通信 验证Parcels和CSDs 生成Parcel Repository的manifest Hyperledger+大数据项目简介 Custom Service Descriptors： 包括服务的角色，依赖关系，配置参数，控制脚本等 Parcel包： 二进制执行文件，Jar包文件等 Hyperledger+大数据项目工作流程 Docker Daemon Cluster node Cloudera Agent Hyperledger Processes 配置 环境变量 运行脚本 3.角色分配完成后，Cloudera Manager 开始触发Agent部署任务 4. 在Docker容器中运行Hyperledger程序， 并向外提供服务 用户 5. Agent监控Hyperledger各角色 容器状态 Cluster node Cluster node Cluster node …… Parcel Repository Cloudera Manager 1. 用户初始化Parcel包下载 2. Cloudera Manager在集群中分发Parcel包 Hyperledger+大数据项目部署流程 Hyperledger+大数据项目部署流程 Hyperledger+大数据项目演示 区块链 什么是区块链? 以‘区块’记录交易信息，以链的方式将区块组合在一起 整个链保存在‘去中心化永久存储’ 区块链的基本属性 去中心化，全局共识 可证明性，每条纪录的修改可溯源 交易完整性，所有交易信息经过签名验证，多方确认 交易共识后不可篡改 区块链的发展 分布式账本技术 Linux Hyperledger Hyperledger 由Linux Foundation发起项目之一 孵化各种开源分布式账本技术，促进区块链技术的商业应用 Hyperledger Fabric 分布式账本框架（Linux超级账本项目之一） 模块化架构设计 共识节点 背书节点 账本提交验证模块 账本管理模块（包括区块管理模块） 区块链的系统架构 区块链的网络架构 区块链上的事务 区块链在万达 数字资产交易 数字资产发行方基于区块链系统发布积分卡券 区块链智能合约自动发现积分卡券间的交易价格 用户基于系统价格在区块链系统上完成积分交易 供应链管理 供应链各方在区块链系统中发布各方需求信息／服务信息 生产商，运输商，销售商，广场平台商 区块链智能合约自动完成各方间的需求匹配 区块链智能合约纪录交易信息，自动生成电子账单，电子发票等 商品销售后，区块链智能合约自动分账 区块链在数字资产交易 数字资产交易 多方发行方组成区块链积分交易联盟 区块链智能合约自动发现积分间的交易价格 会员共享，同时实现会员隐私保护 区块链在供应链管理 供应链管理 供应链各方基于区块链组成联盟 区块链智能合约自动完成各方间的需求匹配 区块链与Spark 区块链与Spark的Demo演示 Demo演示 感谢聆听 Q A * * * *