文本分类.pptVIP

关于google Google 富于创新的搜索技术和典雅的用户界面设计使 Google 从当今的第一代搜索引擎中脱颖而出。Google 并非只使用关键词或代理搜索技术，它将自身建立在高级的 PageRank(tm)（网页级别）技术基础之上。这项正在申请专利的技术可确保始终将最重要的搜索结果首先呈现给用户。 网页级别可对网页的重要性进行客观的分析。用于计算网页级别的公式包含 5 亿个变量和 20 多亿个项。网页级别利用巨大的网络链接结构对网页进行组织整理。实质上，当从网页 A 链接到网页 B 时，Google 就认为“网页 A 投了网页 B 一票”。Google 还对投票的网页进行分析。 Google 复杂的自动搜索方法可以避免任何人为感情因素。与其它搜索引擎不同，Google 的结构设计即确保了它绝对诚实公正，任何人都无法用钱换取较高的排名。作为您的忠实助手，Google 可以诚实、客观并且方便地帮您在网上找到有价值的资料。 关于百度 百度搜索引擎由四部分组成：蜘蛛程序、监控程序、索引数据库、检索程序。百度搜索引擎使用了高性能的“网络蜘蛛”程序自动的在互 联网中搜索信息，可定制、高扩展性的调度算法使得搜索器能在极短的时间内收集到最大数量的互联网信息。百度在中国各地和美国均设有服务器，搜索范围涵盖了 中国大陆、香港、台湾、澳门、新加坡等华语地区以及北美、欧洲的部分站点。百度搜索引擎拥有目前世界上最大的中文信息库，总量达到1亿2千万页以上，并且 还在以每天几十万页的速度快速增长。 文本分类 文本分类研究意义及应用前景 国内外研究现状 文本分类步骤及方法 文本分类评估指标 意义 现实世界中，知识的表现形式很多，如书籍、研究论文、新闻、资料、数字图书馆、web页面及电子邮件等。随着互联网技术的发展，各个领域的数据量急剧增长，运用文本自动分类技术将大大提高人们利用网络信息资源的效率。 前景 文本分类作为信息过滤、信息检索、搜索引擎、文本数据库、数字化图书馆等领域的技术基础有着广泛的前景。 国外三个发展阶段 第一阶段（1958~1964）主要进行自动分类的可行性研究 第二阶段（1965~1974）进行自动分类的实验研究 第三阶段（1975~至今）进入实用阶段 我国 始于80年代初期，大体经历了从可行性探讨—辅助分类系统—自动分类系统三个阶段。到目前我国已研制出一批辅助归档系统及自动归类系统，例如：1984年，莫少强研发了以人工主题分析、系统完成查表的辅助分类系统；1986年，上海交通大学的朱兰娟等开发了计算机类归属度、据bayes最小损失原则确定系统分类的自动分类系统…… 文本分类一般包括了文本的表达、 分类器的选择与训练、 分类结果的评价与反馈等过程，其中文本的表达又可细分为文本预处理、索引和统计、特征抽取等步骤。文本分类系统的总体功能模块为： 　　（1） 预处理：将原始语料格式化为同一格式，便于后续的统一处理； 　　（2） 索引：将文档分解为基本处理单元，同时降低后续处理的开销； 　　（3） 统计：词频统计，项（单词、概念）与分类的相关概率； 　　（4） 特征抽取：从文档中抽取出反映文档主题的特征； 　　（5） 分类器：分类器的训练； 　　（6） 评价：分类器的测试结果分析。 步骤 1获取训练文档集 2建立文档表示模型 3文档特征选择 4选择分类方法 5性能评估模型 文本分类的过程 人工方法和自动方法 人工方法 结果容易理解 足球 and 联赛?体育类 费时费力 难以保证一致性和准确性(40%左右的准确率) 专家有时候凭空想象 知识工程的方法建立专家系统(80年代末期) 自动的方法(学习) 结果可能不易理解 快速 准确率相对高(准确率可达60%或者更高) 来源于真实文本，可信度高 特征抽取 预处理 去掉html一些tag标记 (英文)禁用词(stop words)去除、词根还原(stemming) (中文)分词、词性标注、短语识别、… 词频统计 TFi,j: 特征i在文档j中出现次数，词频(Term Frequency) DFi:所有文档集合中出现特征i的文档数目，文档频率(Document Frequency) 数据清洗：去掉不合适的噪声文档或文档内垃圾数据 文本表示 向量空间模型(Vector Space Model) 降维技术 特征选择(Feature Selection) 特征重构(Re-parameterisation，如LSI、LDA) 自动文本分类方法 Rocchio方法 Na?ve Bayes kNN方法 决策树方法decision tree 神经网络方法Neural Networks 支持向量机SVM 基于投票的方法(voting method) Rocchio方法 是情报检索领域最经典的算法，可以认为类中心向量法