用于多路数据流相关的可扩缩处理的系统和方法.pdfVIP

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN101067792A

(43)申请公布日2007.11.07

(21)申请号CN200710084738.0

(22)申请日2007.02.28

(71)申请人国际商业机器公司

地址美国纽约

(72)发明人顾晓晖王海勋P·S-L·渝

(74)专利代理机构北京市中咨律师事务所

代理人于静

(51)Int.CI

G06F9/46

H04N7/24

H04N7/26

权利要求说明书说明书幅图

(54)发明名称

用于多路数据流相关的可扩缩处理

的系统和方法

(57)摘要

一种用于处理多路流相关的计算机

实现的方法、装置以及计算机可用程序代

码。接收流数据用于相关。形成用于连续

地将多路流相关工作负荷划分成较小的工

作负荷片的任务。所述较小的工作负荷片

中的每一个均可以由单个主机处理。将所

述流数据发送至不同的主机用于相关处

理。

法律状态

法律状态公告日法律状态信息法律状态

权利要求说明书

Claim1.一种用于处理多路流相关的计算机实现的方法，所述计算机实现的方法

包括：

接收流数据用于相关；

形成用于连续地将多路流相关工作负荷划分成较小的工作负荷片的任务，其中所述

较小的工作负荷片中的每一个均可以由单个主机处理；以及

将所述流数据发送至不同的主机用于相关处理。

Claim2.根据权利要求1的计算机实现的方法，其中所述形成步骤用于进行流划

分，并且其进一步包括：

将输入流分成分段；以及

将所述分段分布到所述不同的主机上用于相关处理。

Claim3.根据权利要求1的计算机实现的方法，其中所述形成步骤用于进行算子

划分，并且其进一步包括：

将多路相关算子分成多个较小的算子；以及

在不同的分布式主机上执行不同的较小的算子。

Claim4.根据权利要求1的计算机实现的方法，其中通过多个输入流上的滑动窗

连接实现所述多路流相关。

Claim5.根据权利要求1的计算机实现的方法，其中所述形成步骤用于形成连续

优化问题，并且其包括：

标识相关约束；

计算每个流数据的路由路径，用于确保满足所述相关约束、平衡所述不同主机的工

作负荷，以及最小化所述流数据的复制开销。

Claim6.根据权利要求2的计算机实现的方法，其进一步包括：

选择具有最高速率的输入流作为主流，并且将其它的流指示为从流；

将所述主流划分成不相交的分段；以及

将所述从流划分成重叠的分段以符合相关约束。

Claim7.根据权利要求6的计算机实现的方法，其中所述选择步骤在运行时是动

态改变的。

Claim8.根据权利要求7的计算机实现的方法，其中所述选择步骤进一步包括：

响应于所述主流慢于所述其它流中的任何一个，触发流角色交换，用于选择所述具

有最高速率的输入流作为所述主流，并且将所述其它的流指示为从流；以及

根据所述相关约束采用转换阶段来实现所述流角色交换。

Claim9.根据权利要求6的计算机实现的方法，其中所述将所述主流划分成不相

交的分段的步骤用于调整所述不相交的分段的分段长度，并且其进一步包括：

当系统条件改变时触发分段自适应；

进行基于采样的仿形过程，以便搜索新的分段长度。

Claim10.根据权利要求3的计算机实现的方法，其中所述算子划分进一步包括：

确定连接顺序，以便将所述多路相关处理分成多跳；

在每跳查找相关分段的位置；以及

在每跳计算覆盖所有所述相关分段的最小主机集合。

Claim11.根据权利要求10的计算机实现的方法，其中由在不同流之间所观察到

的连接选择性来确定所述连接顺序。

Claim12.根据权利要求10的计算机实现的方法，其中使用路由表进行所述查找

步骤，其中所述路由表包括不同输入流的滑动窗中相关分段的布局信息。

Claim13.根据权利要求10的计算机实