基于云平台的海量数字图像数据挖掘探究.pdfVIP

2014.23 测试工具与解决方案 基于云平台的海量数字图像数据挖掘探讨 张燕丽 （广东农工商职业技术学院，广东,510507） 摘要：本文借助云平台 Hadoop 的分布式文件系统（HDFS）和分布式并行计算框架（MapReduce），来进行海量数字图像的数据挖 掘。构建了基于Hadoop云平台的海量数字图像数据挖掘系统，实现海量数字图像信息数据挖掘。 关键词 ：云计算 ；数据挖掘；Hadoop；MapReduce 文献标识码: A 中图分类号: TP311 Exploration on the Digital Image Data Mining Based on the Cloud platform Zhang Yanli （Guangdong AIB Polytechnic College,Guangdong,510507） Abstract ： In this paper,by means of the cloud platform Hadoop distributed file system(HDFS)and distributed parallel computing framework(graphs),for huge amounts of digital image data mining.Build a huge amounts of digital image based on Hadoop cloud platform data mining system,realize the huge amounts of digital image information data mining. Keywords ： cloud computing;Data mining;Hadoop;graphs 1 数据挖掘的定义 大规模的数据集，是一种可靠容错的并行处理方式。MapReduce 中的并行计算模式，可以对需要任务的处理分为 Map( 映射 ) 和 数据挖掘就是指从存放在数据库、数据仓库或其他信息库中 Reduce(规约)两个阶段。Hadoop云平台的项目结构如2所示。 的大量数据中提取或“挖掘”知识，这些知识具有未知性、有效性 和实用性。由于知识事先不为人们所知，而是隐藏于大量数据之 内，如何通过寻找数据间潜在的关联，挖掘出隐藏于大量数据之 内的知识，数据知识的挖掘的具体过程如图1所示。 图2 Hadoop项目结构 3 图像数据信息的挖掘流程 作为多媒体数据挖掘的一个分支——数字图像数据信息挖 掘，其挖掘的具体流程包括：图像数据的预处理，在对图像数据 信息进行数据挖掘前，首先要预处理，对预处理后的图像数据信 息的特征，进行提取出，根据提取出的图像数据信息的特征，对提 取的图像数据，来构建数据特征空间。然后根据提取的图像特征 图1数据知识的挖掘过程图