搜索引擎一二.pptVIP

胡俊峰 2015-11-27 After crawling… Web data processing 存档-Archive 链接分析-Link analysis 检索-Retrieval 信息提取-Information Extraction 分类-Categorization 聚类-Clustering …… But… 关于主题爬虫 Fish search 关键是根据种子站点和主题关键字，动态地维护待爬行的URL优先级队列 什么是主题社区 网络结构中存在一部分站点互相关联十分紧密，如同城市中的社区。 这些社区成员站点的链接中，指向社区内部成员的链接占总指向链接比重较大，社区内的边也十分稠密。 从经验来看，这样的社区往往是主题相关的群体。 发现这样的社区，对于解决很多实际问题有着非常重要的意义。 什么是主题社区 什么是网络社区 我们的目标 我们的目标是，对于一个主题以及一些种子节点，将网络爬虫获取的站点，经处理得出相对关联最大的站点组，即获得一个社区。 工作目标 那么我们应该通过怎样的算法从一个庞大的有向图中获得一个密集的核，也就是社区呢？我们考虑使用网络流算法中的割算法。 我们将爬取的起始站点——种子站点作为网络流的源点，将所有爬取到的最底层站点作为网络流的汇点（不难想象，我们爬取到的有向图是一个类似树状结构的拓扑结构），这样我们就得到了一个多源多汇的有向图。 其他相关问题 知识图谱 智能搜索 后面章节部分 摘自彭波老师的课件。 * 后面章节部分 摘自彭波老师的课件。 *