Storm流计算从入门到精通技术篇.ppt

Storm流计算从入门到精通 —技术篇 什么是DRPC？ 分布式RPC（distributed RPC，DRPC）用于对Storm上大量的函数调用进行并行计算。 对于每一次函数调用，Storm集群上运行的拓扑接收调用函数的参数信息作为输入流，并将计算结果作为输出流发射出去。 一句话概括：Storm进行计算，根据客户端提交的请求参数，而返回Storm计算的结果。 DRPC通过DRPC Server来实现，DRPC Server的整体工作过程如下： 接收到一个RPC调用请求； 发送请求到Storm上的拓扑； 从Storm上接收计算结果； 将计算结果返回给客户端。 注：在client客户端看来，一个DRPC调用看起来和一般的RPC调用没什么区别 工作流程 Client向DRPC Server发送被调用执行的DRPC函数名称及参数； Storm上的topology通过DRPCSpout实现这一函数，从DPRC Server接收到函数调用流； DRPC Server会为每次函数调用生成唯一的id； Storm上运行的topology开始计算结果，最后通过一个ReturnResults的Bolt连接到DRPC Server，发送指定id的计算结果； DRPC Server通过使用之前为每个函数调用生成的id，将结果关联到对应的发起调用的client，将计算结果返回给client。 LinearDRPCTopologyBuilder Storm提供了一个topology builder——LinearDRPCTopologyBuilder， 它可以自动完成几乎所有的DRPC步骤。 包括： 构建spout； 向DRPC Server返回结果； 为Bolt提供函数用于对tuples进行处理。 远程模式DRPC 在实际的Storm集群上运行DRPC也一样很简单。只需完成以下步骤： 启动DRPC Server(s)； 配置DRPC Server(s)地址； 向Storm集群提交DRPC拓扑。 首先，通过storm脚本启动DRPC Server： storm drpc 然后，在Storm集群中配置DRPC Server地址，这就是DRPCSpout读取函数调用请求的地方。这一步的配置可以通过storm.yaml文件或者拓扑的配置来完成。通过storm.yaml文件的配置方式如下： drpc.servers: - - 客户端访问 DRPCClient client = new DRPCClient(drpc-host, 3772); String result = client.execute(reach, ); 欢迎访问我们的官方网站