淘宝基于oracle rac的数据仓库系统.docVIP

淘宝数据仓库环境介绍陈吉平淘宝网首席DBA，资深技术专家Oracle ACE《搭建Oracle高可用环境》一书作者淘宝介绍? 淘宝网（ HYPERLINK / ）是国内领先的个人交易网上平台，由全球 最佳B2B公司阿里巴巴公司投资4.5亿创办，致力于成就全球最大的个 人交易网站。自2003年5月10日成立以来，淘宝网基于诚信为本的准 则，从零做起，在短短的半年时间，迅速占领了国内个人交易市场的 领先位置...议程议程?淘宝数据仓库的发展历史?淘宝数据仓库的现状?淘宝数据仓库的维护?淘宝数据仓库的未来发展淘宝数据仓库的发展历史淘宝数据仓库的发展历史单机- DELL6650IBM-P5504节点RAC环境12节点RAC环境 计划扩展到20节点2004 2006 2007 2008为什么选择Oracle RAC为什么选择Oracle RAC? 当时的可选方案z Teradata，在ebay有成功案例z Oracle Rac，对淘宝来说，技术比较成熟? 主要考虑的问题：z 1. 效率，是否能快速的满足日常需求z 2．开放性，开放系统还是选择封闭系统z 3. 可扩展性，包括线性扩展能力，对外接口等z 4. 成本因素? Oracle RAC优点z Oracle是一个相对开放的系统，文档很多z Taobao本身对Oracle的技术比较了解z 在实际的测试中，Oracle表现比较优越z 可以做到线性的扩展能力z 成本不会高于Teradata? Oracle RAC缺点z 对技术的要求相对比较高，需要DBA深入的优化淘宝数据仓库现状淘宝数据仓库现状数据源 ODS 计算 展示Oracle4节点 RAC ODS层12节点 RAC计算层Real Time同步MysqlETL互备……分布计算 (hadoop)淘宝数据仓库的应用场景淘宝数据仓库的应用场景PersonalizationRecommendationsBusinessAnalysisWebServersDataWareHouseTaobaoDataBaseInternalEnd Users淘宝数据仓库应用案例（一）—淘我喜欢淘宝数据仓库应用案例（二）—猜你喜欢淘宝数据仓库应用案例（三）—内部系统淘宝数据仓库12节点物理拓扑图淘宝数据仓库1淘宝数据仓库12节点的承载量? 上线前测试情况z 5台CX3-80，每台120块146G 15K光纤硬盘，12个节点同时跑Orion测试：z orion -run advanced -testname mbps_all_point_20 -num_disks 500-size_small 1024 -size_large 1024 -matrix point -num_small 0 - num_large 20 -type seq -verbosez 读总吞吐量达到7721.26MB/s? 目前使用量：读2.5GB/s，写500MB/s实施细节（一）——实施细节（一）——内联网络? 普通千兆网卡? Infiniband高速交换UserRAC DatabaseIPC LibraryUserRAC DatabaseIPC LibraryKernelUDPKernelRDSIPIPoIBHardwareNICHCAHardwareNICHCAIPOIB300-500MB/s，延迟几十usRDS(certified by oracle )速度1GB/s，延迟10us关于infiniband关于infiniband? 对于IPOIBz oracle端不需要做任何调整z 检测? oradebug setmypid? oradebug ipc? oradebug tracefile_name? netperf -H 04 -l 60(Linux tool)? 对于RDSz 安装? cd $ORACLE_HOME/rdbms/lib? make -f ins_rdbms.mk ipc_rds ioracle? 详细见“Oracle Real Application Clusters 10g Release 2: Installation andConfiguration of Linux Clusters Using RDS over InfiniBand Interconnect” HYPERLINK /technology/products/database/clustering/pdf/rds_installation_on_oracle_rac_10g_release_2_linux_clusters.pdf /technology/products/database/clustering/pdf/rds_ins