基于哈希表的动态向量降维方法的研究及应用.pdfVIP

第 32卷第 4期 河 北 科 技 大 学 学 报 Vo1．32，No．4 2011年 8月 JournalofHebeiUniversityofScienceandTechnology Aug．2011 文章编号 ：1008—1542(2011)04—0351-04 基于哈希表的动态向量降维方法的研究及应用 王 伟，许-2峰，高 凯 (河北科技大学信息科学与工程学院，河北石家庄 050018) 摘 要：提 出并实现了一种简洁的基于哈希表的动态向量降维方法。该方法用哈希表作为文档特 征向量的存储数据结构，省去 了预先构建 向量模板的环节，实现 了高维次稀疏特征 向量的动态降 维 ，有效减少了分类算法的数据计算量 ，能够显著提高分类器的性能。 关键词 ：降维算法；动态向量降维 ；哈希表 中图分类号 ：TP301．6 文献标志码 ：A Research indynamicvectordimension——reductionalgorithm basedonhashtableanditsapplication W ANG W ei，XU Yun—feng，GAO Kai (CollegeofInformationScienceandEngineering，HebeiUniversityofScienceandTechnology，ShijiazhuangHebei050018， China) Abstract：Thispaperproposesanalgorithm basedonhashtablefordynamicvectordimension-reduction．Theproposedalgo— rithm useshashtableasdatastructureofcharacteristicvectorSOastoreducethestepofconstructingvectortemplate．Thiscan realizedynamicvectorreduced—orderofhigh dimensionaltimessparsevector，andeffectivelyreducethecomputationofdata classificationalgorithm SOastoimprovethecapabilityofclassifier． Keywords：dimension-reductionalgorithm；dynamicvectorreduced—order；hashtable 文档信息的特征表示方式有多种 ，常用的有布尔逻辑模型、向量空间模型、概率模型以及混合模型等 。 其中向量空间模型 VSM是应用较多且效果较好 的方法[2]。向量空间模型表示方法的主要不足是文档特征 向量具有惊人的高维次，因此在进行向量计算之前还必须对文档特征 向量进行降维处理 。文献 [3]和文献 [4]认为高维数据 中通常含有许多冗余信息，其中起到实质作用的维数要远远小于原始 的数据维数 ，所 以高 维 向量的处理可以归结为通过相关的降维方法减少一些不太相关的维次数据 ，然后用低维 向量的处理办法 进行处理 。文献[5]一文献[8]介绍了MDS，Isomap，LLE等 3种高维数据的降维方法。文献 [1]介绍 了一 种稀疏的空间向量表示方法。文献[9]提出了规则族之间相似度的构建准则 。文献[1o]介绍 的特征脸方法 大大降低 了原始空间的维数。 在研究中发现，虽然文档特征向量空间的维次巨大，但具体到单个文档，绝大多数向量元素都为零，这就决 定了单个文档的特征 向量是一个稀疏向量。笔者在此提出并实现了一种基于哈希表的动态向量降维方法，用 哈希表作为文档特征向量的存储数据结构，只将权重不为零的特征 向量词条加入哈希表。实验证明这种向量 表示方式大大减少了内存 占用量，有效降低文档特征向量的维次，显著提高了文档特征向量相关算法的性能。 收稿 日期 ：2011—03—06；修回日期：2011—04—13；责任编辑 ：李 穆 基金项 目：河北省教育厅科学研究计划项 目(2009435) 作者简介 ：王 伟(1978一)，男 ，河