河南移动经营分析系统 Vertica 技术交流.pptx

河南移动经营分析系统Vertica 技术交流;交流内容;01 架构概览;;;专为大数据构建的关系数据库;;创造性的Projection组织列数据，表变为逻辑层 ;Projection是MPP和高可用的关键;INITIATOR ;原生支持负载均衡;原生支持负载均衡;读写分离的事务处理模型;负载均衡和故障转移;负载均衡和故障转移;负载均衡和故障转移;;自动性能调节;;结构和半结构化融合分析;表;灵活的备份与恢复;建议用 Private 网络备份到远程服务器;容灾;建议在两个机群的私有网路之间增加一个私有网络来复制（也可用public网络）;监控与管理;02 Projection设计;Projection介绍;;Projection DDL和要素;编码(Encoding)/压缩(Compression)和排序;;表的所有Projection是对等的，由Vertica自动维护;如何创建Projections;添加Projections;查看和删除 Projections;数据库设计器(Database Designer);In adminTools;In Management Console;DBD会推荐些什么？;Database Designer (1 of 3);关于??例数据;关于样例查询;优化目标;Database Designer (3 of 3);每个表有多少个Projections合适?;03 Projection高级设计(DBD探秘);Projection DDL和要素;Projection应该包含哪些列;通过ORDER BY 子句定义;优化关联(Join);Hash Join 操作;Hash Join– 关联溢出;Merge Join 操作;Merge Join 的必要条件;为 Merge Join 设计;带谓词下推(Pushdown) 的 Merge Join;识别关联操作类型;优化关联 – 网络操作;为 Local Joins 设计;分布和复制 Projections;一致分布 (ISP);一致分布设计范例;识别网络操作类型;优化分组(Group By);Group By Hash;Group By Pipe;Group By Pipe;为 Group By Pipe 设计;分布式分组;为本地分组设计;分组的动态分段;04 数据管理;Vertica事务处理模型;数据装载到WOS或ROS;COPY 命令选项;COPY 拒绝信息;多文件 COPY;客户端装载;用户自定义装载;监控数据加载过程;数据删除;数据删除;删除重放(Replay);删除性能优化;删除处理;删除操作最佳实践;清理(Purge);Partition主要用于加速删除数据和查询;Vertica的分区;删除分区;最快的删除数据的方法;修改数据;更新统计信息;各种数据删除方法对比;05 资源管理;并发数不是重点，整体吞吐量和重要应用/角色的体验是关键！;为什么需要资源管理器?;性能三角;查询执行过程;拒绝 vs 排队;资源池(Resource Pools);资源池参数(1 of 7);资源池参数 (2 of 7);PLANNEDCONCURRENCY 场景: 6 个用户被分配到名叫 “ABC” 的资源池，所有用户同时运行需要 1G 内存的查询 ABC pool parameters: MEMORYSIZE 4G PLANNEDCONCURRENCY 4 MAXCONCURRENCY 5;资源池参数 (4 of 7);资源池参数 (5 of 7);资源池参数 (6 of 7);资源池参数 (7 of 7);资源池参数缺省值;用于实在无法对负载进行分类的场景， 减少“小”任务类型资源池的拥挤程度;内建资源池;内建资源池 (1 of 2);内建资源池 (2 of 2);内建资源池参数对比;用户自定义资源池;用户的资源池使用规则;为用户指定资源池;用例 – 在线零售企业的 CEO;用例 – 在线零售企业的 CEO，答案;用例 – 手机供应商的Web应用;用例 – 手机供应商的Web应用，答案;Vertica推荐负载类型划分;参考: 一个真实环境的资源池配置;监控资源池;06 监控和排错;监控服务器;监控网络;常用Linux监控命令;监控 Vertica;Vertica进程结构;Catalog 目录结构;Data 目录结构;Vertica 日志内样例;评估工具;系统表;配置参数;监控 ROS 和 WOS, 存储和删除;在Vertica中监控;装载监控;Projection 刷新;节点复原;复原监控;查询执行;排错工具;诊断工具: Vertica Logs;诊断工具: Copy Error Logs;;Managing Data