赵海川-新浪SCE的Docker实践经验.pptVIP

新浪SCE Docker最佳实践 赵海川 weibo：wangz内容 为何支持Docker技术 Docker支持实践的方方面面 实践经验踩过的坑 后续计划 SCE 新浪研发中心主推私有云产品 基于openstack定制 整合公司通道机、CMDB 为公司内部全产品线提供IaaS服务 公有云近期内测 为何做Docker支持这件事 Openstack与Docker天生互补 Openstack面向IaaS，以资源为中心，打包OS；能够提供成熟的资源限制与隔离能力；多OS系列支持； Docker面向PaaS，以服务为中心，打包service；轻快好省； 产品线需求旺盛 快速部署； 快速起停、创建与销毁； 一致的开发测试环境； 演示、试用环境； 解决设备成本，充分利用资源； 技术方案快速验证； ...... IaaS厂商Docker支持概况 aliyun 私有registry+alioss 第三方提供ubuntu14.04+docker1.2镜像 ustack coreos镜像 qingcloud coreos镜像 内容 为何支持Docker技术 Docker支持实践的方方面面 实践经验踩过的坑 后续计划 SCE Docker支持实践 SCE registry hub 镜像 日志 网络 存储 registry+hub方案 registry后端存储方案探索 docker registry sinastorage driver + sina S3 优点： 后端存储安全可靠 缺点： 依赖storage driver，调试及维护麻烦 更新后还需要自动构建新镜像 localstorage + SCE云硬盘 优点： 后端存储安全可靠 不依赖任何storage driver，省去了调试及维护工作 支持snapshot、resize 缺点： registry+hub方案 与微博平台合作，提供公司公共hub 支持repo、tag、详细信息、dockerfile的查看、检索与管理等 自动同步Docker官方镜像库 不保证hub官方镜像的安全性，建议产品线最好使用SCE官方发布的image或构建自己的baseimage 权限管理 产品线私有registry+hub解决方案 私有registry自动构建工具 私有hub自动构建工具 centos7+Docker镜像 docker1.5 docker-ip、docker-pid、docker-enter docker-compose1.2 rsyslog-kafka plugin 与DIP合作 解决日志监控检索问题 muti-if-adapter 与微博平台合作 解决同一宿主机相同服务端口冲突的问题 more ...... 日志方案 app打container logfile app打stdout，stderr 开发测试环境 对日志不敏感 app+agent打远端 业务环境 对日志持久化、检索、监控、告警等方面有强需求 app+rsyslog-kafka方案 日志流 app container rsyslog-kafka kafka logstash elasticsearch kibana app+rsyslog-kafka方案 业务流 产品线走DIP实时日志分析服务接入 DIP审批 config_web基于docker swarm api动态扩展logstash集群 给出用户接入所需数据，如kafka broker、topic 产品线依据接入数据创建container docker run -d -e KAFKA_ADDR=... -e KAFKA_TOPIC=... -e LOG_FILE=... -v $(pwd)/kafka_config.sh:${SOME_DIR}/kafka_config.sh ... 遵守SCE log接入规范，container中的run.sh需要调用SCE提供给的日志配置工具docker/tools/rsyslog_config.sh rsyslog_config.sh会按需自动配置rsyslog，接入过程对产品线透明 网络模式 bridge docker默认网络模式； 存在最大连接数限制。在服务有大量链接的场景下，会出现大量拒绝链接的现象；微博已踩过此坑； 适用于小规模； host 需要用户管理端口，避免可能会出现的端口冲突情况； 适用于较大规模 后续 上面两种网络模式已基本能满足产品线小规模开发测试需求 大规模docker集群下，现有网络方案面临挑战，需要调研pipework/ovs/weave/Flannel libnetwork driver除了平移过来的bridge、host、null，还提供了remote，以