web数据挖掘__7信息检索资料.ppt

* * * * * * * * * * * * * * * * 部分错误结果 [1]重庆“侦探”商标注册成功 邦德公司获工商认可...册范围，将原42类商品和服务商标注册扩大... [2]新潮实业:“亚麻”龙头 箭在弦上由于所有纺织品和服装配额都将于今年底以前完全取消，近期4元左右的低价纺织股表 分词效果不佳！ IR相关领域 相关领域-借鉴和融合 数据库管理 图书和情报科学 人工智能 自然语言处理 机器学习 数据库管理 专注于研究结构化数据，比如关系表，而不是自由文本 专注于处理定义好了的查询式，如SQL 查询式和数据的语义都非常清晰 近来有向半结构化数据(XML)发展的趋势，和IR越来越接近 图书馆和情报科学 研究信息检索中和人类使用者相关的内容 （人机交互、可视化） 关心对人类知识的有效分类 关心引用(citation)分析和文献计量学(bibliometrics)信息的结构化 最近的数字图书馆研究使它和IR距离更近 人工智能 研究知识表示、推理和智能行为 知识和查询式的形式化: 一阶谓词逻辑 贝叶斯网络 最近在Web本体论(Ontology)和智能信息代理(Intelligent Information Agents)的研究，使它与IR更接近 从数据到知识 数据(Data) 未经组织的数字、词语、声音、图像等 信息(Information) 以有意义的形式加以排列和处理的数据 知识(Knowledge) 用于生产的信息（有意义的信息） 信息经过加工处理、应用于生产，才能转变成知识 智慧(Wisdom) 应用知识的能力，创新能力 自然语言处理 研究自然语言文本的句法、语义和语用 使检索能够在意义层面而不是仅仅在关键词层面进行 自然语言处理：IR的方向 根据上下文决定 歧义词的意义：词义消歧(word sense disambiguation). 识别文本中特殊的信息片断 (information extraction). 从文本中回答特殊的用自然语言提出的问题 词义消歧 机器学习 研究能够通过经验改进自身性能的计算系统 有指导的学习(supervised learning) 通过从人工标注好的训练样例中学习概念来实现对样本的自动分类 无指导的学习(unsupervised learning) 事先不经过的人工标注，将样本自动聚为有意义的组 机器学习：IR的方向 文本分类 自动层次聚类(Yahoo) 自适应/推送/推荐 垃圾邮件过滤 文本聚类 检索结果的自动聚类 自动形成层次体系 信息抽取 文本挖掘 信息检索的应用 数字图书馆 自动分类 根据国图分类法，对文本进行自动分类 自动标引 自动给出文本的主题词，包括抽词标引和赋词标引两种 自动文摘 根据不同比例以及用户的不同需求自动编写文摘 定题服务 面向确定主题的情报服务 个性化新闻 根据用户的兴趣偏好， 为用户定制新闻 内容安全 垃圾邮件过滤 包括广告、黄色和反动邮件的过滤和分析 垃圾短信过滤 企业商业秘密防泄露 监测从企业内部发出的邮件，封杀包含企业机密的邮件 聊天室和BBS监控 过滤黄色话题或反动言论 垃圾短信过滤 商务智能 自助呼叫中心 以自动问答的方式，从企业提供的大量技术支持资料中自动获取答案，满足用户的需求 减少呼叫中心的人力服务费用 用户投诉信的自动分类和汇总系统 将用户的投诉信自动分发给企业的不同部门去处理 自动发现投诉信中的焦点问题，协助企业决策 竞争情报 定制关于互联网上关于竞争对手的各种情报并汇总 电子政务 首长办公系统 自动汇总来自各下属部门的文件，并提取重要内容提供给领导阅读 政务自动咨询系统 市民通过互联网，以问答的方式咨询政府的政策和办事流程等 投诉自动汇总分析系统 将市民的投诉自动分类汇总，以资政府决策 行政简报自动编写系统 定期自动编写简报，在政府部门内交流 远程教育 自动答疑系统 用户远程提问，系统根据用户的问题收集教材中的相关内容，汇总后提供给用户 学生情况调查分析 根据学生的提问情况，自动分析学生的主要问题所在，以便对症下药地改进教学内容 移动计算 短信定制服务 包括新闻、股市资讯等 短信汇总服务 电视台或广播电台常常提供在线的短信参与活动，大量短信发送到电视台需要及时地分类汇总，以便主持人作出反应，比如概括出大多数用户最关心的问题等。 军事情报 国外军事情报的跟踪汇总 重点针对国外互联网进行过滤跟踪，对重要资料进行分析汇总，辅助军事决策 国内军事情报的反泄露 发现和拦截泄露军事情报的邮件 隐藏于普通文本中的军事情报的过滤技术 文本水印 主要研究机构 * * * * * * * * * * * 可以看到： Query Document Similarity A huge number of