中文分词-山东大学信息检索试验室.ppt

利用维基百科 利用维基百科发现实体 利用维基百科进行消歧 消歧是指对同一关键词，可能有不同的语义的分辨，如“苹果” / 所谓实体往往是指独立的、有各种独特特征的对象，如“山东大学”、“苹果”等 利用Web上其他实体关系库 Free Base Knowledge graphs 预处理 网页的分类 页面分析 中文处理 网页分类 Hub网页 (Hub pages) 提供向导的网页，如新浪主页，特征是链接集合 主题网页(authority page) 通过文字具体说明一件或多件实物，如具体的新闻报道 图片、视频网页 是含图片或视频的主题网页，但文字特别少。 页面处理 传统网页分类将整个网页看作一个原子单元进行整体处理，但是由于网页中一些“噪声”信息的存在，不仅增加了处理的复杂度，还影响了网页自动分类的效果，因而需要对网页进行预处理。 近年微软亚洲研究院提出block based IR. 一般主题网页的结构 标题(关键词和概括) 正文 相关链接 导航信息 广告 装饰，Flash 版权，制作者信息等 网页分块方法（1） 基于位置关系的分块法 利用网页页面的布局进行分块，将一个网页分成上、下、左、右和中间5个部分,再根据这5个部分的特征进行分类； 实际的网页结构要复杂得多，这种基于网页布局的方法并不能适用于所有的网页； 这种方法切分的网页粒度比较粗，有可能破坏网页本身的内在特征，难以充