Microsoft SQL Server 2012成功案例——KLOUT.docxVIP

KLOUTData Services Firm 使用微软商业智能解决方案和 Hadoop 提升对大数据的洞察概况国家或地区：美国行业： IT服务客户资料Klout 成立于 2007 年，是一家私营控股公司，帮助个人和企业通过筛选和理解社交网络上每天产生的数百 TB 信息来获得竞争优势。其总部设在美国加利福尼亚州旧金山，Klout 被领先的组织（如华尔街日报和福布斯杂志）公认为“大数据”解决方案先驱。软件和服务Microsoft SQL Server 2012 EnterpriseMicrosoft SQL Server Analysis ServicesWindows Server 2008 R2 Enterprise业务需求商业智能和报告任务关键型业务关键型“涉及到商业智能时，Microsoft SQL Server 2012 证明了该平台在不断进步，并且与在大数据领域所出现的创新保持同步。”—— David Mariani，工程副总裁，Klout Klout 不但想为消费者、品牌与合作伙伴对数百 TB 的社交网络数据提供更快、更详细的决策与分析能力, 它还希望可以进一步提高分析效率。为此 Klout 部署了一个基于 微软SQL Server 2012 Enterprise 和 Apache Hadoop 的商业智能解决方案。Klout 可以近乎实时地处理各种数据查询，降低成本，提高效率，增加洞察，并促进创新。业务需求 Klout 帮助客户使得每天来自包括 Facebook 和 LinkedIn 在内的 15 个领先社交网络上超过 10 亿个信号所生成数百 TB 数据变得有意义起来。“我们接收原始数据，并把其转换成我们的消费者、品牌与合作伙伴可使用的信息”，Klout 的工程副总裁 David Mariani 说。Klout 所分析的数据由按公司索引的 1 亿多人生成。这包括 Klout 成员，以及在社交网站上与他们进行交互的人。每个人加入 Klout 都可了解自己在 Web 上的影响力，影响力的评分为从 1 到 100。他们也登记参与各种活动，在那里他们可以获得礼物和免费服务。超过 3500 个数据合作伙伴也加入了 Klout，以更好地了解消费者和网络发展趋势，包括需求的变化，以及人们的影响力如何影响口碑广告。为了提供客户寻求的分析与决策能力，并且仍然满足创业公司的预算限制，Klout 维护着一个基于开源 Apache Hadoop 框架的自定义基础架构，它提供了大型数据集的分布式处理。在该解决方案中，来自每个社交网络的数据都有一个单独的SILO。为了管理各种查询，Klout 使用了自定义 Web 服务，每个服务都使用不同的业务逻辑从SILO中提取数据，并以混合的形式提供这些数据。较早前， Klout维护 Hadoop 和自定义 Web 服务以支持商业智能 (BI)，这对于团队而言既复杂又费时。该解决方案也阻碍了数据的深度挖掘。例如，从 Hadoop 访问详细信息需要额外的开发工作，所以混合类型的数据往往缺乏用户寻求的信息详细程度。此外，人们往往要等待查询处理几分钟，有时是几小时，而最终他们只能得到基于预定义模板的信息。Klout 希望更新其基础架构，以提高效率并支持自定义商业智能。工程师们寻找的技术要能够提供关键业务应用的可用性，并且可以扩展，以满足大数据增长和性能要求。解决方案在 2011 年，Klout 决定实施基于 微软 SQL Server 2012 企业 数据管理软件和开源 Hive 数据仓库系统相结合的 BI 解决方案。“涉及到 BI 和分析时，开源工具集是低效的，真的没有什么很好的选择。”Mariani 说。“相反，Klout 选择了两全其美的方案，结合 微软 BI 平台和 Hadoop 与 Hive。”基于员工以往的 微软 BI 平台经验，Klout 也知道 SQL Server 提供了与第三方软件的良好兼容性，它可以处理管理大数据集所需的数据规模和查询性能。在 2011 年 8 月，工程师实施了数据仓库与 Hive，它整合了由 Hadoop 托管的所有网络SILO的数据。此外，Klout 在运行 Windows Server 2008 R2 Enterprise 操作系统的系统上部署了 SQL Server 2012，以充分利用 微软 SQL Server 2012 Analysis Services。工程师使用它来管理所有业务逻辑，以支持多维联机分析处理 (MOLAP)。数据存储在多维数据集中，这有助于保存详细信息并加快分析。为了提供高可用性，Klout 使用 SQL Server 2012 AlwaysOn 将数据库复制到辅助系统。在 Klout 最初部署其解决方案时，SQL Server 201