大数据的应用与解决方案.docxVIP

PAGE 1 PAGE 1 大数据的应用与解决方案 　　EMC资深产品经理李君鹏认为，大数据本身就是一个问题集，云技术是目前解决大数据问题集最重要有效的手段。云计算供应了基础架构平台，大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理，也是云计算思想的一种详细体现。Teradata技术总监StephenBrobst则表示，公有云架构对数据仓库没有影响，因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上，那样很危急。然而，是私有云架构的确有影响：第一，通过私有云，可以巩固数据集市，削减利用率不足的问题；第二，可以通过灵敏的方式将数据集成，实现业务价值。  　　于是有人就此理解为：大数据的最佳解决方案是采用云计算和分布式处理，利用互联网将运算能力、存储能力都做分布式的处理，认为这样做就可以最大程度上地降低成本、增加扩展性和敏捷性。  　　然而事实真的如此吗？  　　让我们来分析一下最近IBM公司在国内针对百万人口的城市级信息中心制定的解决方案：  　　面对数量浩大且增长快速的各类交通信息：120万辆机动车电子卡、4万辆机动车的实时GPS定位、200万笔公交IC卡数据、518个高清卡口的113亿张图片等，该市信息中心的领导意识到，当前多个项目能源消耗大、占地要求特别高、并且原有的网络设备难以满意新增的需求，网络设备经常更换，并且这些相互独立的数据库、服务器和存储，以及不同的访问权限和没有统一的管理界面，让本就压力巨大的数据中心的效率大打折扣，同时也极大铺张了珍贵的人力、能源和其他各种资源。  　　IBM给出的解决方案是：  　　首先，在基础平台上摒弃了分布式的服务器架构，而是采用大型服务器在基础架构上对处理能力、I/O吞吐和主存储进行了整合，这样做的最大亮点是，将原有成百计的分布式服务器整合到了个位数，极大地节约了空间和能源，做到绿色环保；因为不用考虑各分布式服务器之间的互通互联和各服务器之间的状态及负载均衡与调配，节约了相当数量的管理人员；另外大型服务器自身端到端的管理功能和适用于异构工作负载且基于策略的框架，有效帮助信息中心实现中心掌握，实现极高的性能。  　　其次，在整合的基础平台之上，采用“云计算”框架虚拟化设计，实现了智能交通和政务网站的整合。这一方案让用户在使用上可以享受与分布式架构相同甚至更加优越的性能。由基础平台通过虚拟化形成的任意数量的虚机，在统一云管理软件URM的配置下，能够供应统一的管理视图和管理机制，简化在多套异构业务系统环境下系统的运营和维护工作。  　　而在本方案中的存储部分则采用了运行稳定、性能领先、技术成熟的SAN网络架构，具有很好的稳定性，能为前端各应用供应牢靠的数据存储平台，并且整个SAN网络中的部件都配置了双冗余组件，保证任一部件的损坏不会影响整个系统的运行，而关键数据库的数据都通过合理的备份策略，定期备份在了物理磁带上，保证关键数据的肯定安全。  　　总结下来，整合的基础平台，“云计算”框架的虚拟化设计，和定制化的高速存储，打造出了最稳定、最牢靠、最安全、最绿色的运行环境，让政府的大数据应用完美落地。  　　可见，大数据的解决方案不同于纯粹云计算的解决方案，虽然云计算带来了看上去更廉价的处理能力和存储能力，但对于往往都有相当数量级规模的大数据应用而言，在基础架构上奇妙地整合和部分的集中，反而能更好地解决安全性、牢靠性、稳定性和绿色环保的需要。  　　4.结束语  　　大数据为云计算大规模与分布式的计算能力供应了应用的空间，解决了传统计算机无法解决的问题，海量的数据需要足够存储来容纳它，快速、低廉、绿色的数据中心将成为这一切的关键。  　　然而大数据并不意味着整合的、集中式的服务器架构已走向了末路，相反，大数据所带来的规模效应，使得我们越来越需要更加高效牢靠的大型整合的混合负载服务器，奇妙地整合和适当的集中，将成为大数据解决方案里重要的一种思想和方向，特殊是针对关键行业的核心数据，高安全、高牢靠、高稳定将始终是使用者的首要考虑。