网络热词发现.pptx

网络热词发现介绍史晓东厦门大学人工智能研究所北京语言大utline动机模型实验下一步工作动机早上起来，你想了解天下事打开中央（本地）的新闻台？打开你的igoogle？打开新浪网？动机如何保证那些台、网站提供的东西是真实的？或者只是要给你洗脑？或者引导你去花钱？用户是很容易被“引导”的！杜拉拉的故事：了解垃圾也是一种文化？什么是真实？多样性兼听则明，偏信则暗公平性算法过滤。人是带着眼镜生下来的！自己写一个程序吧！（5.16）模型什么叫热词？热词就是描述人们最近正在谈论比较多的事件的所用的词。富士康闫凤娇热词也许是新词，也可能是旧词，如前一阵的南方“暴雨”，也可能不是词，是短语相关工作搜索引擎很容易统计用户行为谷歌热榜百度搜索风云榜搜狗热搜榜但是，热词和热搜词不同。虽然部分词可能是相同的谷歌热榜排名标准: 谷歌搜索频度变化率展现排名上升变化最快的各类关键词，范围覆盖整体Google热榜类别，根据关键词当日的搜索频度与前一日此关键词的搜索频度比较产生，差值越大，排序越前，每日更新。谷歌例子(100529)共同点频率是重要指标必须有一个背景语料库，才能知道什么是热热词的演变想法从多种来源获取热词新闻博客论坛普通网页单纯的频率能说明问题？从信息检索中的tfidf说起核心思想，把单纯的频率变成权重文档的概念一篇新闻是一个文档？跟帖是文档吗？能利用某些元信息吗？阅读 113334 回复 890实验先用tfidf做做看看，先做（5.23）写了3个爬虫+1个已有爬虫搜狐博客、新浪博客新浪新闻（已有程序修改）天涯论坛5.27实现了tfidf，显然，结果是无法说明热词。虽然可以用来做信息检索。这也是必要的。信息检索设想热词“xx” 在 aaa篇新闻、bbb个博客、ccc个帖子，dddd个跟帖中提到。点击yy查看最相关来源“热”频率高 tf文档多 df不太平均同样是10个文档中出现10次哪个词热？10， 0， 0，….5, 5, 0, …..3, 3, 3, 1,……..2 2 2 2 21 1 1 1 1 1 1 1 1和先验统计分布（泊松，高斯等）的关系？一个经验模型最好要滤掉常用词因为时间仓促，部分实现这个模型有很多问题简单演示只实现了搜狐博客和新浪新闻问题一堆数据过滤虽然做了很多工作，但是还没做好，很多广告数据进来了抽出来的不是“词”，是串。词的判别需要做更多计算。还没有进行“热”的趋势计算，虽然数据都有了。还没有利用背景语料库来过滤常用词。问题一堆论坛还没处理论坛是非常重要的语言知识和其他信息的挖掘地，比如“杜拉拉好看吗？”这样的问题，你直接在论坛进行数据挖掘就可以看到。民意也可以很容易的得到。最关键的是，论坛数据是实时的，未及监控的，所以能抓到第一手信息。而搜索引擎的信息是二手的，即使实时爬虫抓取了，快照内容也是受到审查的。进一步的工作模型细化每个“词”都有其特定的概率分布。其实可以通过在背景语料库中，预先计算好每个“词”的分布，然后可以通过判断是否有显著的分布差异或参数差异来判断词的异常。这种差异显著度可以进行系统度量进一步的工作问题，预先计算即使不困难，也需要占用大量的硬盘空间。应该探讨与时间有关的增量式计算。思考：online NLP分词为什么做不好？自改进系统自收集资源自改进模型