文本分类在商品广告分类与应用.pdfVIP

竺! !!!!：!：!些!!：!竺!!!竺!型!!!竺竺!!!二!!!! }卓辛帝p辛乎妒母≯矿 4辛守率$章寸妒妒萨矿 圈2多种特征选择算告栏hI∞∞ADs”魏据库t昀性健比较 些类别相关的特征，综合两者的优势，在一定程度上 能够提高分类的正确率。 3实验和分析 唾㈣ 3．1商品广告数据库姐-azoⅡADs的建立 根据嗣上商城“AInazo矿上的商品，我们定义了 000 lo个大类，100个小的商品类别，接着抓取了近5 个商品建立了商品广告数据库“amazoAADs”。我们 提取了三种可能对分类有用的文本信息，分别是：制 造商(M孤u胁tu甘)，标题(Thle)和描述(De∞n} 唾㈣ noⅡ)。但并不是每一件商品都包含这三种信息，经过 姓理，一共得到包含三种信息的商品3910件。这些 图3 IGOR以影由租刊栩”扮特征选择算法比较 商品被随扎分成5等份，其中4份(3166件)为训练数 据，l份(7“件)是测试数据。 4总结与展望 3．2宴验结果与分析 本文在多层分类框架下，综台比较了多种特征选 由于支{寺向量机(s唰vcm盯M扯h通c，svM) 择算{击在广告分类中的性能并提出了“由粗到细”的 已经被证明在诸多领域具有较为优越的性能，因此， 特征选择算法来综合利用全局和局部特征选择的优 本文所进行昀所有实验都以线性svM作为分类器进势。实验结果表明信息增益总体上性能最优，或然比 行训练和预测，使用的工具包是著名的sⅧ．Ⅱ曲一 率在维数较低的情况下表现最好，使用我”J的算法来 性能评估使用M∞ro{l和Micm．Fl㈣。 综合二者能进一步提高分类的正确率。 我们的第一纽实验比较了多种已有的特征抽取 本文的不足之处在于只考虑了文本信息，今后我 算法在藐们的数据库上的性能，采用的是多层分耀 们将深八寤f兜§冶利用囝像和文蕺甏对广告进行粥屯 架．实验结果如图2所示。结果表明佑整体上效果最 优．oR在低维度时要明显优于其他特征选择算法。 参考文献： 基于此．将两者结台起来．先用10进行全局特征 c mn曲一 【1]sal∞ⅡG，B∞uqT栅weI曲血g印懈k 选择．再在初选结果中用0R进行局部特征选择。在 m“c*n andMam rc日e词田自咖doⅡhoc∞血g 上一组实验中，发现当维度大于1000时，DF、IG和 513{23 a日蛐∞t．1粥8，24 oR三种性能较优的算法正确率变化不大，因此这组 【2]seba“蛐FMwbjneI删Ⅻng mⅫt。lⅡ8t耐t诽cale自。n一 实验的比较只考虑维度低于1000的情况，实验结果 日tionm^例c口婶曲gs眦vq8，0000，34：1郴 如鼬3所示。从结果中可以看瑚，使用这种“由粗到 I∞№Y．，目ns曲JA 细”的特征选择算法对整体性能相对单独使用其中的 l酬onh衄t 任何—种算法楠了显著的提井。