用于海量图像存储与处理的Hadoop扩展.docxVIP

２０１４ 年 １０ 月ＪｏｕｒｎａｌｏｆＧｕｉｌ ２０１４ 年 １０ 月 ＪｏｕｒｎａｌｏｆＧｕｉｌｉｎＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｏｎｉｃＴｅｃｈｎｏｌｏｇｙ Ｏｃｔ．２０１４ 用于海量图像存储与处理的 Ｈａｄｏｏｐ扩展 付 波 ，黄 廷 磊 （桂林电子科技大学 计 算 机 科 学 与 工 程 学 院 ，广 西 桂 林 ５４１００４） 摘 要 ：为应对海量图像 、视频对存储与分析带来的挑战 ，提 出 扩 展 Ｈａｄｏｏｐ支 持 数 据 类 型 ，同 时 集 成 ＯｐｅｎＣＶ 开 源 库 ，实 现 了 基 于 Ｈａｄｏｏｐ和 ＯｐｅｎＣＶ 的计算机视觉分布式处理平台 。 测 试 结 果 表 明 ，该扩展方式较目前在 Ｈａｄｏｏｐ平台下广泛使用 的图像表示与存储方式更为高效 ，为开发分布式计算机视觉算法提供了高效的基础平台 。 关 键 词 ：Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ；计 算 机 视 觉 ；ＯｐｅｎＣＶ 中 图 分 类 号 ：ＴＰ３９３ 文 献 标 志 码 ：Ａ 文 章 编 号 ：１６７３－８０８Ｘ（２０１４）０５－０３６４－０５ ＡｎｅｘｔｅｎｓｉｏｎｏｆＨａｄｏｏｐｕｓｅｄｔｏｓｔｏｒｅａｎｄｐｒｏｃｅｓｓｌａｒｇｅｓｃａｌｅｉｍａｇｅｄａｔａｓｅｔ ＦｕＢｏ，ＨｕａｎｇＴｉｎｇｌｅｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＧｕｉｌｉｎＵｎｉｖｅｒｓｉｔｙｏｆＥｌｅｃｔｒｏｎｉｃＴｅｃｈｎｏｌｏｇｙ，Ｇｕｉｌｉｎ５４１００４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｆｉｇｕｒｅｏｕｔｔｈｅｃｈａｌｌｅｎｇｅｏｆｔｈｅｍａｓｓｉｖｅｉｍａｇｅａｎｄｖｉｄｅｏｓｔｏｒａｇｅａｎｄａｎａｌｙｓｉｓ，ｔｈｉｓｐａｐｅｒｅｘｔｅｎｄｓｔｈｅＨａ－ ｄｏｏｐｓｕｐｐｏｒｔｅｄｃｌａｓｓｔｏｉｍａｇｅ，ａｎｄｉｎｔｅｇｒａｔｅｓＯｐｅｎＣＶｏｐｅｎｓｏｕｒｃｅｌｉｂｒａｒｙｉｎｔｏＨａｄｏｏｐ．Ｔｈｕｓ，ａｄｉｓｔｒｉｂｕｔｅｄｉｍａｇｅｐｒｏｃｅｓｓ－ ｉｎｇｐｌａｔｆｏｒｍｂａｓｅｄｏｎ ＨａｄｏｏｐａｎｄＯｐｅｎＣＶｉｓｉｍｐｌｅｍｅｎｔｅｄ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｄａｔａｓｈｏｗｓｔｈａｔｔｈｉｓｅｘｔｅｎｔｄａｔａｔｙｐｅｉｓｍｏｒｅ ｅｆｆｉｃｉｅｎｔｏｎｔｈｅｗｉｌｄｌｙｒｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄｓｔｏｒｅｆｏｒｍｏｎＨａｄｏｏｐ．Ｉｔｐｒｏｖｉｄｅｓａｒｅｌｉａｂｌｅｐｌａｔｆｏｒｍｆｏｒｄｅｖｅｌｏｐｉｎｇｔｈｅｄｉｓｔｒｉｂｕｔｅｄ ａｌｇｏｒｉｔｈｍｉｎｔｈｅｃｏｍｐｕｔｅｒｖｉｓｉｏｎ． Ｋｅｙｗｏｒｄｓ：Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ；ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ；ＯｐｅｎＣＶ 随 着 社 交 网 络 和 移 动 互 联 网 的 兴 起 ，网 络 空 间 的 图 像 、视 频 数 据 急 剧 增 长 ，高效存储并分析此类数据 成 为 一 个 巨 大 的 挑 战 。 目 前 ，Ｈａｄｏｏｐ 分 布 式 平 台 已 广 泛 应 用 于 基 于 文 本 大数据集的数 据分析与挖掘领 域 ，许 多图像处理 和 计算机视 觉 算法同样适用于大数 据 集 ，但 这 些 算 法 往 往 受 限 于 单 台计算机的计算能 力 ，通 常 相 关 算 法 按 照 参 数 、图像甚 至像素等维度并 行 化［１］，然 后 使 用 消 息 传 递 接 口 （ｍｅｓｓａｇｅｐａｓｓｉｎｇｉｎ－ ｔｅｒｆａｃｅ，简 称 ＭＰＩ）实 现 这 些 算 法 。 然 而 ，由 于 ＭＰＩ 需 处 理 并 行 算 法 各 部 分 的 通 信 细 节 ，其复杂性甚至超 过 算 法 本 身 的 计 算 复 杂 性 。ＭａｐＲｅｄｕｃｅ框 架 较 ＭＰＩ 在 并 行 处 理 上 提 供 了 更高层次的抽 象及更简单的编 程 模 型 ，它 屏 蔽 了 并行模块之 间底层的通信细节 ，从 而 使 用 户 能 将 精 力 集 中 于 算 法 本 身 的 设 计 。 目 前 ， ＭａｐＲｅｄｕｃｅ编 程 框 架 已 应 用 于 人 脸 检 测 ［２］和 地 标 分 类［３］等处 理图像的算法 设 计 中 。 由 于 原 始 的 Ｈａｄｏｏｐ 平 台 没 有 支 持 图 像 的 数 据 类 型 ，通 常 的 方 法 是 利 用 ｂａｓｅ６４ 等 编 码 方 式 将 图 像 编 码 成 ＵＴＦ８格 式 的 文 本 信 息 ，再 利 用 Ｈａｄｏｏｐ内 建 的 Ｔｅｘｔ数 据 类 型 将 该 文 本 信 息 存 储 为 ＨＤＦＳ 中 的 ＴｅｘｔＦｉｌｅ文 件 格 式 ，其 中 文 件 的 每 一 行 为 一 幅 图 像 的 编 码 信 息 ，然 后 在 处 理 数 据 时