liutao.docVIP

liutao 本文由郑锦旺12345贡献 ppt文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 领域术语自动抽取方法研究 1 2010-4-23 报告内容 绪论 课题研究的目的,意义及研究现状 论文主体 领域文本自动判别方法 领域术语自动抽取方法 在文本分类和问答式信息检索中的应用 结论 2 2010-4-23 报告内容 绪论 课题研究的目的,意义及研究现状 课题研究的目的, 论文主体 领域文本自动判别方法 领域术语自动抽取方法 在文本分类和问答式信息检索中的应用 结论 3 2010-4-23 绪论 研究目的 为面向领域的应用提供可定制的领域文本自动判别方法和 领域术语自动抽取方法 研究意义 对所有面向领域的应用都有重要意义 垂直搜索 文本自动分类 语言建模 词义消歧 4 2010-4-23 绪论:领域文本自动判别研究现状 领域文本自动判别 有监督文本分类方法 文本表示:概率模型,向量空间模型 特征选择:TF-IDF,互信息,期望交叉熵,信息增益等 分类算法:Rocchio法,贝页斯分类法,K最近邻分类法,支持向 量机,决策树,神经网络 半监督文本分类方法 产生式模型和期望最大化,直推式支持向量机,自助学习法,协 同训练法,主动学习法 基于正例的文本分类方法 PEBL, Spy_EM,Roc_SVM,类别约束SVM(Biased_SVM), PNLH 方法 5 2010-4-23 绪论:领域术语自动抽取研究现状 中文词语的领域类别判定之前要进行中文新词发现 中文新词发现 启发式特征:构词力,构词模式,互信息,上下文依赖 机器学习模型:隐马尔科夫模型,最大熵,最大熵马尔科 夫模型,支持向量机,条件随机域 6 2010-4-23 绪论:领域术语自动抽取研究现状 词语的领域类别判定 基于语言学知识的方法 英文的拼写线索,包含词缀等信息的术语要素词典,潜层语法分 析,设定规则模版 基于统计量度的方法 基于类别的TFIDF(KFIDF),领域相关性+领域一致性(DR+DC) , C-值,C/NC值 机器学习方法 基于自助学习法的半监督术语获取方法 基于词语分类的术语获取方法 7 2010-4-23 绪论:研究现状 领域术语自动抽取的评价 人工评价:语言学家或者研究者通过个人判断来确定抽取 的词语是否为领域术语 对抽取结果有直观感受 费时,费力 受人主观性影响 应用评价:看领域术语抽取模块在应用系统中的表现 评测迅速 完全面向应用,不同的应用系统可能会产生不尽相同的结果 8 2010-4-23 报告内容 绪论 课题研究的目的,意义,研究现状 论文主体 领域文本自动判别方法研究 领域术语自动抽取方法研究 在文本分类和问答式信息检索中的应用设计 结论 9 2010-4-23 研究框架 在文本分类中的应用 特征选择 特征集扩展 专业信息采集 应用研究 在问答式信息检索中的应用 概念语义网络 中文新词发现 领域术语自动抽取 词语的领域类别判定 基于统计量度的术语抽取 术语抽取自助学习法 领域文本自动判别 有监督文本分类 ① 基于正例的文本分类 10 2010-4-23 领域文本自动判别方法 完整分类体系下的领域文本判别 有监督文本分类方法 需要为每个类别提供一定规模的训练语料 实现了一个文本分类评测平台 包括10种可定制的特征选择算法和4种可定制的分类算法 特征选择算法:词频与倒文档频度(TFIDF),期望交叉熵 (ECE),统计,互信息(MI),文本证据权(WE),信息增益 (IG),文档频度(DF),KFIDF,DR+DC,NCD+NDD方法 分类算法:简单贝叶斯(NB),Rocchio,K最近邻(KNN)和支持 向量机(SVM) 11 2010-4-23 领域文本自动判别方法 非完整分类体系下反例集获取困难 完整分类体系下训练某个类别的分类器时,其他类别训练 语料