Storm在用户搜索分析中的应用.pdfVIP

Storm在用户搜索分析中的应用 - y_~l】冰 (福建富士通信息软件有限公司 福建 350003) 【摘 要】大数据的出现，对计算的处理能力要求越来越高，除了批量数据的处理之外，有很多业务要求处理数据的实 时性较高，比如在毫秒级的处理速度。互联网数据是典型的大数据，从这些数据中进行有价值的数据挖掘就是大数据常见的 应用，本文主要介绍了基于从用户所有网站访问数据中分析用户的搜索行为这个业务场景，利用Storm技术的低延迟、高性 能、分布式、可扩展、容错等特点，在 storln的框架上开发应用程序解决需求的方法。 【关键词】流计算；分布式；实时；容错 中图分类号 ：TP391．3 文献标识码：A 文章编号：1009—6833(2014)11—064—02 ApplicationofStorm intheanalysisofusers’search W angJianbing Abstract：Theemergenceoflargedatatocalculatetheprocessingpowerofdemandishigherandhigher，besidesthebatchdata processing，therearealotofbusinessrequirereal—timeprocessingdataishigher，suchastheprocessingspeedofmillisecond．Internet dataistypicalofbigdata，valuabledatarfom thedatami ningisacommonapplicationdata，thispapermainlyintroducesthebasedon theanalysisfrom theusersallaccesstothedataofusers’searchbehaviorthisbusinessscenario，low latency，highperformanceofStorm ， distributed，scalable，faulttolerance，etc，intherfameworkofStomr onapplicationdevelopmentsolutionstorequirements． Keywords：Flow calculation；Distributed；Inrealtime．Faulttolerance 0 引言 Topology：Stomr 中运行的～个实时应用程序，因为各个组 在大数据的时代里，互联网以及公司的日常运营经常会生 件间的消息流动形成逻辑上的一个拓扑结构。 成 TB级别或以上的数据，大数据来源囊括了网站、社交媒体、 Spout：在一个 Topology中产生源数据流的组件 。通常情 交易型商业数据以及其它商业环境中创建的数据。在大数据的 况下Spout会从外部数据源 中读取数据，然后转换为 Topology 业务场景中，有批量分析的场景，这些分析以大多以长期积累 内部的源数据 。Spout是一个主动的角色，用户只要在其中生成 的大量数据为基础进行各维度的统计，也有很多需要实时的处 源数据即可。 理的场景，如用户上淘宝网站时给用户推荐的商品，用户的手 Bolt：在一个Topology中接受数据然后执行处理的组件。 机移动到某个商圈时给用户推送的优惠消息等 ，这些实时的处 Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 理往往要求处理的时长在毫秒级甚至更低 ，因为只有在这样的 Bolt是一个被动的角色，用户可以在其中执行 自己想要的操作 。 处理时限内结果才有意义。