寻求容量、可靠性和速度平衡.docVIP

寻求容量、可靠性和速度平衡 　　用户说 　　对非结构化数据进行存储，除了考虑易用性、性能和安全因素以外，还要考虑与智能挖掘相关技术相结合。 　　大数据要求用户不仅要对传统商业智能软件进行改造，还要对企业已有的业务系统基础架构进行改造。 　　大数据面临的最大挑战是大规模、实时的关联性分析。对于存储来说，高吞吐、低延迟的要求会越来越高，内存、闪存的重要性也会越来越高。 　　中国石油研究院总工程师赖能和表示：“我们拥有9万个CPU、25PB存储。在油气勘探数据处理方面，我们面临的主要挑战是数据量和计算量非常大，数据来源单一，处理流程非常复杂，单个文件的容量就达100TB。我们对存储的投资已超过了服务器。” 　　中国的大数据应用已经起步。记者采访了金融、互联网、教育、制造等行业的一些敢于“吃螃蟹”的用户。 　　精准营销效果佳 　　大数据最先从互联??行业兴起，互联网企业在大数据应用方面的一些成功经验值得其他行业借鉴。以携程旅行网（CTRIP）为例，它的大数据应用目前正处于快速发展阶段，已经在很多方面进行了有益尝试，包括细化网站平台的流程，优化业务运营，支持业务成长的决策，解决部分传统方法难以解决的具体问题。携程旅行网高级副总裁、研发中心总经理叶亚明（Eric Ye）给记者举了两个例子：在饭店推荐和航班查询方面，携程就利用其数据精细化工具来计算业务的投资回报率（ROI）；携程还通过机器学习的方法识别用户，进一步改善针对用户的推荐结果，解决“查询不到匹配酒店”等难题。 　　利用大数据为企业决策提供支持或者实现精准营销是企业中常见的大数据应用。东方航空公司就是一例，它开展大数据研究和应用已经有很长时间，并且采购了大数据一体机专门解决大数据的相关问题。目前，东方航空公司的大数据应用主要集中在营销业务领域，包括渠道分析、航线分析、航班后期走势分析、航线上客速度分析等。在东方航空公司，大数据处理和分析的益处显而易见，它能提供更准确、更实用、更全面的数据分析和展现，形成统一的营销数据分析门户，更好地为东方航空公司营销的各个环节提供决策支持，使精准营销成为可能。 　　中国传媒大学高性能计算中心主任鲁永泉博士和他的团队近年来一直致力于打造中国首个动漫产业的云平台，并且已经发布了VSO虚拟工作室平台。此平台集虚拟工作室、动漫渲染、在线交易等众多功能于一身，是真正能够落地的动漫云平台。据鲁永泉介绍，他们已经将大数据用于动漫云平台，平台的主要功能是对动漫云的用户行为进行分析，为运营人员制定更加精确的营销和服务策略提供支持。 　　追求高性价比 　　为满足大数据的应用需求，存储平台究竟应该如何搭建呢？不同行业的用户针对不同应用会进行不同的搭配。携程已经建立了一个具有一定规模的Hadoop集群，其大数据应用就基于此集群。“为这个集群选择相应的存储方案时，我们综合考虑了I/O吞吐性能、性价比、计算密集型还是存储密集应用型等诸多因素。”叶亚明介绍说，“目前，我们标准的存储配置是基于SATA硬盘，配合JBOD、数据倾斜调整、机架感知等可靠技术的应用，实现存储和计算的优化。面对一些特殊应用，我们还会采用不同的内存存储，如HBase节点中的内存比例会稍高，而Hive/PIG等节点中的内存比例则有所调整。” 　　东方航空公司对于大数据存储的要求很明确，不仅要性能卓越，可扩展性强，还要实现安全保护，能够实时响应，实现负载均衡等。东方航空公司下一步将考虑引入对非结构化数据的处理。针对非结构化数据的存储，东方航空公司除了会考虑易用性、性能和安全性等因素以外，对于与智能挖掘相关的技术也十分关注。东方航空公司选择大数据解决方案秉承的原则是：业务驱动，信息技术引领，追求更高性价比。 　　目前，南华期货股份有限公司在大数据方面的应用还不够深入，但数据的采集和积累是其一直坚持在做的重要工作。南华期货积累的数据主要包括两年以上的全市场逐笔Tick行情数据、近10年的主力合约分钟数据、全部客户的交易和结算数据、详细的网络访问日志等。“我们的大数据应用主要集中在针对高端客户的数据服务和有针对性的交易指导方面。接下来，我们还会依托实时交易数据分析，向客户推送有针对性的咨询服务等。”南华期货股份有限公司总经理助理顾松表示。 　　谈到大数据对存储的需求，顾松表示，核心需求主要体现在容量、可靠性和速度三方面。针对不同的应用，上述三个需求重要性的排序也会有所变化：比如在逐笔Tick行情数据处理中，重要性的排序是可靠性、容量、速度；在网络访问日志中，重要性的排序为容量、速度、可靠性。顾松特意强调了存储可扩展的重要性：“当前，我们为每个应用都估算了具有一定冗余的存储容量，所以可扩展性的重要性并没有凸显出来。不过随着应用的发展和后续数据迁移、备份需求的增加，存储的可扩展性和重复数据