领域术语自动抽取方法地研究.ppt

领域术语自动抽取方法研究 刘桃 报告内容 绪论 课题研究的目的、意义及研究现状 论文主体 领域文本自动判别方法 领域术语自动抽取方法 在文本分类和问答式信息检索中的应用 结论 报告内容 绪论 课题研究的目的、意义及研究现状 论文主体 领域文本自动判别方法 领域术语自动抽取方法 在文本分类和问答式信息检索中的应用 结论 绪论 研究目的 为面向领域的应用提供可定制的领域文本自动判别方法和领域术语自动抽取方法 研究意义 对所有面向领域的应用都有重要意义 垂直搜索 文本自动分类 语言建模 词义消歧 绪论：领域文本自动判别研究现状 领域文本自动判别 有监督文本分类方法 文本表示：概率模型、向量空间模型 特征选择：TF-IDF、互信息、期望交叉熵、信息增益等 分类算法：Rocchio法、贝页斯分类法、K最近邻分类法、支持向量机、决策树、神经网络 半监督文本分类方法 产生式模型和期望最大化、直推式支持向量机、自助学习法、协同训练法、主动学习法 基于正例的文本分类方法 PEBL、 Spy_EM、Roc_SVM、类别约束SVM（Biased_SVM）、 PNLH方法 绪论：领域术语自动抽取研究现状 中文词语的领域类别判定之前要进行中文新词发现 中文新词发现 启发式特征：构词力、构词模式、互信息、上下文依赖 机器学习模型：隐马尔科夫模型、最大熵、最大熵马尔科夫模型、支持向量机、条件随机域 绪论：领域术语自动抽取研究现状 词语的领域类别判定 基于语言学知识的方法 英文的拼写线索、包含词缀等信息的术语要素词典、潜层语法分析、设定规则模版 基于统计量度的方法 基于类别的TFIDF(KFIDF)、领域相关性+领域一致性（DR+DC） 、C-值、C/NC值 机器学习方法 基于自助学习法的半监督术语获取方法 基于词语分类的术语获取方法 绪论：研究现状 领域术语自动抽取的评价 人工评价：语言学家或者研究者通过个人判断来确定抽取的词语是否为领域术语 对抽取结果有直观感受 费时、费力 受人主观性影响 应用评价：看领域术语抽取模块在应用系统中的表现 评测迅速 完全面向应用，不同的应用系统可能会产生不尽相同的结果 报告内容 绪论 课题研究的目的、意义、研究现状 论文主体 领域文本自动判别方法研究 领域术语自动抽取方法研究 在文本分类和问答式信息检索中的应用设计 结论 研究框架 领域文本自动判别方法 完整分类体系下的领域文本判别 有监督文本分类方法 需要为每个类别提供一定规模的训练语料 实现了一个文本分类评测平台 包括10种可定制的特征选择算法和4种可定制的分类算法 特征选择算法：词频与倒文档频度（TFIDF）、期望交叉熵（ECE）、统计、互信息（MI）、文本证据权（WE）、信息增益（IG）、文档频度（DF）、KFIDF、DR+DC、NCD+NDD方法 分类算法：简单贝叶斯（NB）、Rocchio、K最近邻（KNN）和支持向量机（SVM） 领域文本自动判别方法 非完整分类体系下反例集获取困难 完整分类体系下训练某个类别的分类器时，其他类别训练语料的合集作为反例集 非完整分类体系下获取某个类别的平衡反例集比较困难 基于正例的文本分类方法 不需要提供已标注的反例集 需要使用大规模未标注样本 基于正例的文本分类问题的传统方案 步骤一：启发式样本标注 1-DNF,PNLH,spy,rocchio… 步骤二：建立分类器 通过迭代建立一系列分类器 只建立一个分类器 传统方法存在的问题 启发式样本标注中,高准确率和高召回率不可兼得 1_DNF：将U中不含全部正例特征的文档看作反例 高准确率，低召回率 PNLH：定义正例参考值(PRP)，将PRP值小于U集全部文档PRP平均值的文档当作反例 低准确率，高召回率 不同途径得到的标注样本的置信度不一致，传统方法不加区别的使用所有样本 势必导致分类准确率下降 基于置信度加权的领域文本判别法 多策略样本标注算法 自动标注尽可能多的样本，即在保证样本标注召回率的前提下，按照标注样本的置信度对样本集进行划分 加权支持向量机算法 为不同置信度的样本赋予不同的权重 不同标注策略的样本置信度实验 三级反例及基于置信度加权对分类性能的影响实验 对比实验 报告内容 绪论 论文主体 领域文本自动判别相关技术研究 领域术语自动抽取相关技术研究 基于局部最大算法的中文新词发现 基于统计量度的术语抽取方法 领域术语抽取自助学习法 在文本分类和问答式信息检索中的应用设计 结论 传统中文新词发现方法的缺点 启发式特征+经验阈值 难以筛选合适的全局阈值统一抽取新词 机器学习方法 训练时间较长 基于局部最大算法的中文新词发现 中文词语是关联强度较大、结合较为紧密的字序列 高内聚性 可独立运用性 利用平摊对称条件概率(SCP_F)衡量字序列的结合力