松耦合多处理机系统工作池技术①.PDFVIP

计 算 机 系 统 应 用 2016 年 第 25 卷 第 7 期 松耦合多处理机系统工作池技术① 唐俊奇, 黄廖山 (湄洲湾职业技术学院 信息工程系, 莆田 351254) 摘 要: 分析了多处理机系统中的集中式、分散式和全分布式这三种工作池的动态平衡的工作原理, 通过仿真 实验, 提出了利用工作池技术, 及时将工作池技术中待处理的工作任务分派给松耦合多处理机系统中处于空闲 状态的处理器, 使松耦合多处理机系统(尤其是异构机群平台) 中各机器能够有机地协调工作, 有效地提高海量数 据的处理速度. 关键词: 海量数据; 多处理机系统; 工作池技术 Work Pool Technology of Loosely Coupled Multiprocessor System TANG Jun-Qi, HUANG Liao-Shan (Department of Information Engineering, Meizhouwan Vocational Technology College, Putian 351254, China) Abstract: The paper analyzes the dynamic balance working principles of centralized work pool, decentralized work pool and distributed work pool in the multiprocessor system. Through the simulation experiment, it brings、 forward a loosely coupled multiprocessor system using the work pool technology to assign the work tasks to the idle processors in a timely manner, which makes each machines of the loosely coupled multiprocessor system (especially for heterogeneous cluster platform) work coordinately. The speed of massive data processing is efficiently improved. Key words: massive data; multiprocessor systems; work pool technology 引言 统的性能. 为了使松耦合多处理机系统(尤其是异构机 在智慧城市的建设中, 视频监控摄像头广泛应用 群平台) 中各机器能够有机地协调工作, 我们引入了工 于主要道路、热点地区、地铁和居民小区的安全监视. 作池方式的负载平衡技术, 并作深入研究. 1 个 8Mbps 摄像头产生的数据量是 3.6GB/小时, 1 个 月为 2.59TB. 很多城市的摄像头多达几十万个, 1 个 1 松耦合多处理机系统集中式动态负载平衡 月产生的数据量是达到数百PB, 若需要保存 3 个月则 在松耦合多处理机系统的集中式动态负载平衡中, 存储量达 EB 量级. 当前我们处理的数据量在急剧增 主进程(主处理器)拥有有要执行的一系列任务集(称为 长, 所以通常所用的并行数据库的规模也势必跟着不 工作池[2]) 中的每个任务由主进程分发给各个从进程, 断增大, 这样就导致了企业成本的快速增长. 为了降 每个从进程完成一个任务之后, 它们都会向主进程请 低成本且能够满足现实的需求, 我们采用中低端硬件 求另一个任务. 这种工作机制是工作池方法的本质. 构成的机群平台[1](这种由中低端硬件构成的机群平台