大数据时代：五大商业分析技术趋势大数据时代：五大商业分析技术趋势.pdf

大数据时代：五大商业分析技术趋势 目前，趋势中心对如何应对分析挑战的关注力度并不亚于他们考虑在新商业视角中如何充分利用机 遇的力度。例如，随着越来越多的公司开始不得不面对海量数据以及 考虑如何利用这些数据，管理 与分析大型不同数据集的技术开始出现。提前分析成本与性能趋势意味着公司能够提出比以前更为 复杂的问题，提供更为有用的信息以 帮助他们运营业务。 在采访中，首席信息官们总结出了5大影响他们进行分析的IT趋势。它们分别为：大数据的增长、快 速处理技术、IT商品的成本下降、移动设备的普及和社交媒体的增长。 1.大数据 大数据指非常庞大的数据集，尤其是那些没有被整齐的组织起来无法适应传统数据仓库的数据集。 网络蜘蛛数据、社交媒体反馈和服务器日志，以及来自供应链、行业、周边环境与监视传感器的数 据都使得公司的数据变得比以往越来越复杂。 尽管并不是每个公司都需要处理大型、非结构型数据集的技术。VeriskAnalytics公司首席信息 官PerryRotella认为所有的首席信息 官都应当关注大数据分析工具。Verisk帮助金融公司评估风险 ，与保险公司共同防范保险诈骗，其在2010年的营收超过了10亿美元。 Rotella认为，技术领导者对此应当采取的态度是，数据越多越好，欢迎数据的大幅增长。Rotella的 工作是预先寻找事物间的联系与模型。 HMS公司首席信息官CynthiaNustad认为，大数据呈现为一种“爆炸性”增长趋势。HMS公司的业务 包括帮助控制联邦医疗保险 （Medicare）和医疗补助（Medicaid）项目成本和私有云服务。其客户 包括40多个州的健康与人类服务项目和130多个医疗补助管理计划。 HMS通过阻止错误支付 在2010年帮助其客户挽回了18亿美元的损失，节约了数十亿美元。Nustad称：“我们正在收集并追 踪大量素材，包括结构性与 非结构性数据，因为你并不是总是知道你将在其中寻找什么东西。” 大数据技术中谈论最多的一项技术是Hadoop。该技术为开源分布式数据处理平台，最初是为编辑 网络搜索索引等任务开发的。Hadoop为多个“非关系型（NoSQL）”技术（其包括CouchDB 和MongoDB）中的一种，其通过特殊的方式组织网络级数据。 Hadoop可将数据的子集合分配给成百上千台服务器的处理，每台服务器汇报的结果都将被一个主 作业调度程序整理，因此其具有处理拍字节级数据的能力。 Hadoop既能够用于分析前的数据准备 ，也能够作为一种分析工具。没有数千台空闲服务器的公司可以从亚马逊等云厂商那里购 买Hadoop实例的按需访 问。 Nustad称，尽管并不是为了其大型的联邦医疗保险和医疗补助索赔数据库，但是HMS正在探 索NoSQL技术的使用。其包括了结构性数据，并且能够被 传统的数据仓库技术所处理。她称，在 回答什么样的关系型技术是经实践证明最好用的解决方案时，从传统关系型数据库管理出发是并不 明智。不过，Nustad 认为Hadoop正在防止欺诈与浪费分析上发挥着重要作用，并且具备分析以各 种格式上报的病人看病记录的潜力。 在采访中，那些体验过Hadoop的受访首席信息官们，包括Rotella和Shopzilla公司首席信息 官JodyMulkey在内都在将数据服务作为公司一项业务的公司中任职。 Mulkey称：“我们正在使用Hadoop做那些以往使用数据仓库做的事情。更重要的是，我们获得了以 前从未用过的切实有用的分析技术。”例如，作为 一家比较购买网站，Shopzilla每天会积累数太字节 的数据。他称：“以前，我们必须要对数据进行采样并对数据进行归类。在处理海量数据时，这一 工作 量非常繁重。”自从采用了Hadoop，Shopzilla能够分析原始数据，跳过许多中间环节。 GoodSamaritan医院是一家位于印第安纳州西南的社区医院，其处于另一种类型。该医院的首席信 息官ChuckChristian称：“我们并 没有我认为是大数据的东西。”尽管如此，管理规定要求促使其存 储整如庞大的电子医疗记录等全新的数据类型。他称，这无疑要求他们要能够从数据中收集医疗保 健品质信息。不过，这可能将在地区或国家医疗保健协会中实现，而不是在他们这种单个医院中 实现。因此，Christian未必会对这种新技术进行投资。 IslandOneResorts公司首席信息官JohnTernent称，其所面临的分析挑战取决于大数据中的“大” 还是“数据”。不过，目前他正在 谨慎地考虑在云上使用Hadoop实例，以作为一种经济的方式分析复 杂的抵押贷款组合。目前公司正在管理着佛罗里达州内的8处分时度假村。他称：“这种解 决方案有 可能解决我们目前正遇到的实