让更多人从大数据中受益.docVIP

让更多人从大数据中受益 “这些年IT技术最重要的一个进步之一就是从原本的单机处理变成了多台电脑同时处理，从原本只有超级计算机才能够完成到可用多台普通电脑来完成。正是得益于这样的技术，今天的大数据分析对很多人不再是可望不可及的一件事情了。”SAS公司大数据研究与发展全球副总裁Paul Kent在日前举行的SAS第二届用户大会期间接受记者采访时表示，人们对大数据的分析和利用才刚刚开始，未来会有越来越多的人从中受益，SAS以及众多公司正在一起努力。 “传统建立在数据仓库基础上的数据分析以及更为人广泛认知的商务智能投资都很昂贵，千万级的项目也不稀奇，基本上都是大企业的专属工具。在今天这个大数据时代，人人都想拥有数据分析能力，这样高昂的投资是难以接受的。”SAS公司大中华区总裁吴辅世对Paul的观点表示高度认同。 Hadoop就是Paul Kent提到的这样一种分布式处理技术。作为一种开源框架，Hadoop采用了海量并行集群技术。通过将数据分布到多个节点完成分析计算，这样不用其他传统技术就可以快速拥有极为强大的计算能力。不过，Hadoop只是一个大数据存储和处理的平台，完成大数据的分析和建模还需要借助更为专业的工具。 “对于SAS来说，我们技术实力就体现在集群环境下的运算和算法，这正是SAS的核心竞争力所在。SAS是第一家把大量且复杂的精密数据分析运算应用到Hadoop集群。现在通过软件就能够很轻易地让很多人做到过去只有数据科学家才能做到的事情，比如建立很好的模型或对未来进行预测等。”Paul Kent介绍说。 据悉，为了帮助用户更好地对大数据进行分析和处理，SAS在与Hadoop之间的沟通上做了大量工作，包括可以从Hadoop读取数据和向Hadoop写入数据以及执行MapReduce程序的能力；通过SAS程序和HiveQL完成管理和操作Hadoop数据；SAS高性能分析以及SAS的可视化分析也能在Hadoop集群上运行等。 “过去一些传统的主机和大型数据仓库平台做的工作现在正在逐步地迁移到Hadoop当中去，SAS看到了这一变化，我们在Hadoop平台上所做的工作让客户的大数据应用能更快速的部署、更少的投资，同时得到更多的效益。”吴辅世表示。 据吴辅世介绍，目前国内已经有很多企业开始探索基于Hadoop进行数据分析试验、测试和演讲，其中包括电信业、零售业和金融业的传统企业。不久前有一个银行的客户对大约1亿条的记录进行做风险管理回归分析的测试，用SAS的高性能分析技术在4台的PC服务器上花3分钟时间完成了分析。过去没有这种高性能分析，即使是SAS软件也要花2、3个小时才能解决，而其他一些厂商的软件也许根本算出不来结果，因为数据量太大。 当然，要降低大数据的门槛简化数据分析的操作，也非常重要。在SAS第二届用户大会期间，记者注意到了SAS的一款可视化分析工具SAS Visual Analytics，它通过转变成这种新型的计算方式，可以在全量数据上展开交互式的可视化数据探索，同时轻松使用那些以前难以驾驭的先进分析模型。值得一提的是，SAS与Hadoop生态系统中知名公司Cloudera和Hortonworks展开了战略合作，客户还可以在云环境中使用可视化分析。