云平台下光谱数据快速无损压缩技术分析.pdfVIP

分类号 学校代码 10542 学号 2Q!QQ21墨2Q委3 云平台下光谱数据快速无损压缩技术 的研究 of Lossless StudyRapid Compression basedorl DataandCloud technologySpectral Platform 研 究 生姓名 姜型二蕉 指导教师姓名、职称 扬塞红敦援一 学 科 专 业 电整量丕统 研 究 方 向 数主i瞄复圆．鳖擅盔一 湖南师范大学学位评定委员会办公室 二零一五年五月 万方数据 摘要 近年来，随着计算机性能的大幅提升、近红外光谱仪器的改进和 化学计量学数据处理方法的研发，光谱技术在工业、农业、医药等领 域得到了广泛应用。由于近红外光谱仪器具有快速和非损坏性检测、 操作成本低、无需复杂预处理等一系列特点，与化学计量法相结合， 非常适合烟叶成分的定性定量分析。光谱仪器会产生海量的数据，如 何对这些数据进行存储、分析、挖掘成为制约光谱技术应用的瓶颈。 针对这些问题，本文从以下几个方面来进行云存储环境下光谱数据快 速无损压缩技术的研究： 一、深入研究了云存储的概念、体系结构和技术原理。对云存储 涉及到的关键技术如虚拟化技术、并行编程模式、分布式文件管理作 等技术原理和实现过程。 ’ 二、通过实验比较LZO、LZW和LZSS三种压缩算法在使用内 存、压缩时间、压缩率和对不同数据压缩效率等四个方面的不同表现。 实验分析得出，在相同环境下，LZO的压缩、解压缩速度是另外两 种压缩算法的20倍以上，而压缩率只比LZW和LZ77算法低10％左 右。压缩数据量越大，LZO的时间优势越明显。在云平台分布式处 理和并行传输环境下，通过损失部分压缩率来换取压缩时间是值得 的，LZO算法更适合近红外光谱文件在云平台下的快速实时压缩。 三、为了提高压缩效率，针对光谱数据的完整性要求，只需对关 键波段压缩就能达到目的，因此，通过连续小波变换(CWT)建立 l 万方数据 关键波段集检测数学模型，可快速检测出海量光谱、质谱文件中的关 键波段集。该算法可通过个性化设定光谱文件中关键波段集的检测范 围和步长，达到控制压缩文件大小的目的。最后，通过LZO算法对 检测到的关键波段集进行压缩，提高了文件处理效率。 四、根据用户需求和系统需要，建立在Hadoop框架下的烟叶光 谱数据信息管理系统。该系统能够实现用户对光谱数据的传输、删除、 查询、分析和管理等功能。通过在烟叶光谱信息管理系统中测试表明， 论文的数据压缩方法和关键波段集检测方法是可行的。 关键词：LZO；快速无损压缩；近红外光谱；关键波段集：小波变换； Hadoop lI 万方数据 Abstract Inrecent the of years，withsurge