绿色云计算实践之路 中国绿色数据中心技术大会资料.pptVIP

从去年7月份开始，云创存储和世纪鼎利携手合作，运用cProc云处理技术，对广东移动网络巨大的信令流进行实时分析。我们以此参加了在广东移动举办的云计算比赛，竞争对手是华为、中兴、中创、宜通等知名企业。 * 这个平台能够支持海量数据的实时入库。12台服务器，多块硬盘同时进行读写操作，在入库数据量达500Mbps时能轻松的处理。图为系统在处理500Mbps流量时其中一台服务器的资源情况。 * 在比赛中，我们使用了独创的数据立方技术，面对数10亿条记录，能够秒级处理。这比我们之前使用HBase技术快了几十倍，比其它厂商使用美国Greenplum技术也快了几倍。 * 这是世纪鼎利做的应用系统。 * 这是比赛现场。最右边的是我们。可以看到，当它获得海量的处理结果时，其它屏幕还正在处理。 * 我们也用这种海量处理能力来智慧交通云平台。 * 这是物理部署架构。左边是分局这边，右边是“3.20”云计算平台。分局这边卡口数据经由工控机接收后，图像型数据存储在本地的SAN或NAS中，记录型数据存储在Oracle数据库中。 在分局这边部署数据采集服务器，负责从Oracle数据库提取数据并转换成标准格式上传到云计算平台。 云计算平台这边，同一批物理服务器，将承担负载均衡、数据接收、数据存储、数据管理和数据处理等多种角色。负载均衡集群使用JobKeeper实现，多台服务器虚拟成相同的IP，主节点损失将由其它节点自动接管。 数据接收集群被动态分配接收不同分局的数据。如果有节点损失，将由JobKeeper指定其它节点代替。 数据存储集群使用优化过的HDFS技术，利用所有节点的存储空间，分布式地可靠保存数据。 数据管理集群使用DataCube技术，来分布式索引和管理所有数据。 数据处理集群使用优化过的MapReduce技术，来并行完成数据处理任务。 * 需要说明：真实系统可以通过网络访问，我们也带来了现场演示。 * Intel公司与云创存储合作推出数据立方一体机。今年10月份将召开新闻发布会。 * CVIDEO监控界面 交通流量检测 图像智能检索 云计算智能安防 目标运动视频DNA序列生成 视频DNA可视化图谱 四项核心技术 云创存储 cTrans云传输 cStor云存储 cProc云处理 cVideo云视频 CTRANS云传输 0.01% 0.05% 0.1% 0.1% 0.5% 1000 800 600 400 200 1 10 100 200 400 1000 800 600 400 200 Throughput (Mb/s) Throughput (Mb/s) Packet Loss Round Trip Time (ms) CTRANS云传输 云分发系统 更多信息： 刘 鹏 gloud@126.com 中国云计算 * 网络 vs. 计算机性能 处理器速度每18个月翻一番 存储密度 每12个月翻一番 网络速度 每9个月翻一番 1986 to 2000 计算机: x 500 网络: x 340,000 2001 to 2010 计算机: x 60 网络: x 4000 光速每秒30万公里，30公里*80亿/3600＝6600万公里/秒，是光速的200倍以上。 比利时平均每年只有7天气温不符合免费冷却系统的要求 * 云创存储一共有四条产品线，都是围绕大数据展开的。首先是cStor云存储产品线。 * 这是我们的cStor云存储产品。 * 我们研制的超低功耗存储主板，其功耗只有10W，为传统方式的二十分之一以下。是迄今国际上最绿色节能的存储系统。 这是cStor的管理界面，非常简单直接。 * * 随着它的节点数量的增加，性能不断提升。 1个客户端读250G文件，文件平均读性能为852MB/s，读文件峰值为1.2GB/s * 1个客户端写250G文件，文件平均写性能为932MB/s，峰值为1.9GB/秒。 * * 这是我们的cStor云存储产品。 * cStor的特点是： 高可靠：损失任意节点不丢失数据； 高性能：可提供1GB/s甚至10GB/s的性能； 高可伸缩性：容量不够了，可直接添加节点； 超低功耗：综合能耗仅为传统方式的1/3； 超高集成度：单机架容量超过1PB，为传统方式的3倍以上； 高易用性：在用户的机器上就像多了一个海量磁盘，无需学习即可使用； 超低成本：系统价格仅相当于传统方式的1/5。 今年1月6日，南京发生了被公安部列为一号大案的枪击案。南京市公安局紧急部署了6套cStor云存储系统，其优异的性能和可靠性受到了交口称赞。 * 将全市的视频监控数据集中在cStor上 * 上千位警察在cStor的支撑下开展破案工作。 * 目前市局cStor云存储系统已经成功部署地南京政务数据中心 * 目前cSto