关键词发现报告.pptVIP

关键词发现方法 ——初步方案 欢迎交流 QQ：2091395524 分析总结 初步方案设计 背景与目标 算法基本原理 背景与目标 在舆情分析中，关键词发现是一个基础性的文本技术，为文本分类、聚类、主题发现、情感分析提供有益的帮助。 结合益普索的项目，以用户对搜狐汽车的评价数据（评价的标题数据）为数据集，用来进行关键词发现方法。具体为用户对汽车外观、动力、空间等的三类（满意、一般和不满意）评价数据。 这样，具体任务变为如下：从用户的评价中抽取出有价值的关键词，主要包括两个方面：一是命名实体，比如“奥迪A4L”，“小4”，“发动机”等；二是评价词（指反应用户情感倾向的词），比如“省油”，“漂亮”，“异响”等。 算法基本原理 算法原理简单来说：就是结合文本的上下文，统计经常出现（设置一定的阈值）的字符串，而这样的字符串往往是词。 奥迪A4L，1500KM了。不错！ 奥迪A4L外形靓丽回头率 奥迪A4L自动挡的车很大气 奥迪A6L2.0自动挡的驾驶室比较大气 假设将共同出现的频次阈值设置为2，则“奥迪A4L”、“自动挡”和“大气”应共同出现，并且满足阈值要求，就会被发现出来。 举例： 算法基本原理 关键词发现算法的过程类似于寻找最大频繁项集的过程。 算法基本原理 首先拆分成单个字符： A B C A B C D A B # 满足阈值，相邻合并 AB BC CA AB BC # AB # 迭代 ABC # ABC 抽取AB 迭代 # 抽取ABC 抽取出AB和ABC，我们将其加入到关键词候选库 字符串：ABCABCD 参数设置：阈值设置为2 关键词的长度要求设置为不小于2 特点说明： 该方法将满足阈值的都会提取出来（有利） 会抽取出破碎子串（不利） 虚线表示反馈 初步方案设计 去噪/提高效率 开头规则 包含规则 结尾规则 英文字符处理 A4L 车型 太丑 很吸引 很炫 a4 外形 好看 技术版 白色 A4 奥迪 很好 泪眼漂亮 轮辋 小4 动感 舒适 回头率高 ? 不错 实在 奥迪A4L 外观漂亮 ? 大气 很高 外形靓 外观不错 ? 漂亮 泪眼 回头率 吸引眼球 ? 拉风 低调 舒适版 车门异响 ? 技术 轮胎 很漂亮 自动技术版 ? 红色 故障 技术型 回头率很高 ? 外观 下来 自动档 技术型奥迪A4L ? 样子 标准 奥迪A6L2.0T 自动档外观不错 ? 小范围测试结果看来，准确率挺好。 但是从整体的效果看来，正确率比这个低了不少 （不便统计、目测，但在考虑组合词为正确的情况下，至少应该60%左右） 总结 由于整个数据集数量较大，用奥迪A4L的外观评价为例，进行测试 所有抽取的词如下表： 谢谢，不正之处请指正。 在以后的工作中会多向大家学习请教！ * * * * * *