tfidf与规则结合的中文关键词自动抽取研究计算机科学与技术专业论文.docxVIP

硕士学位论文TF·I 硕士学位论文 TF·I DF与规则结合的中文关键词自动抽取研究 TF—IDF and Rules Based Automatic Extraction of C hinese Keywords 作者姓名： 学科、 专业： 学 号： 指导教师：墓焦褪塾援 完成日期： 2015-5-30 大连理工大学 Dalian University of Technology 万方数据 I删!!j：I删L I删!!j：I删LY2鲤1 6吆一 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：Z臣蝉当垄缝：l毖醢聋之美敛虱坳耋鱼蚴 作者签名： 垒《 日期：丝笪年—臣月旦一日 万方数据 大连理工大学硕士学位论文摘 大连理工大学硕士学位论文 摘 要 关键词抽取工作作为自然语言处理中的一个基础课题，为信息检索、文本聚类、自 动摘要生成等技术提供基本支持。可以使用户快速方便的理解文章主要内容从而判断如 何进行下一步工作。 本文的关键词抽取工作主要分为候选词识别和关键词抽取两部分。通过实验发现， 对于中文关键词抽取任务来说，分词结果的好坏和候选词选取的质量将严重影响后期的 抽取工作。针对此现象，本文将关键词抽取和关键短语抽取当作同一工作任务，统一成 关键词抽取的研究，并将重点放在候选词识别部分。 针对中文分词所包含的问题，在候选词的抽取方面，本文提出了一种结合连续单字 未登录词识别和多词表达式识别的方法来进行候选词的识别：对于连续单字未登录词， 利用简单的规则切分连续单字片段，该方法可以较好的识别出频率为1的该类未登录词； 对于多词表达式，则在规则抽取的基础上加入LocalMaxs方法。两种方法的结合在不依 赖语料库规模和领域的情况下，可以较好的识别出低频未登录词。 通过对前人研究的进行分析发现，TF．IDF作为关键词抽取的主流特征之一，有着 较好的可应用性和可拓展性，因此，本文仍选取TF．IDF作为主要特征，并在其基础上 加入其它特征进行融合。考虑到兼类词的不同词性问题，根据词的词性不同，本文改进 了词的TF计算公式，并考虑到方法的通用性问题，仅加入标题词权重信息和词长信息 来改进TF．DF公式进行关键词的抽取工作。 本文设计了多组实验，分别对本文提出的未登录词识别方法和关键词抽取方法进行 验证。在关键词抽取方法的验证中，同时证明了候选词识别对后期关键词抽取方法的影 响。通过比较实验，在利用本文候选词识别方法的基础上，改进的TF．IDF方法较传统 的TF．IDF方法P、R、F值均提高了5％左右。 关键词：关键词抽取；未登录词识别；候选词抽取；TF-IDF 万方数据 TF-IDF与规则相结合的中文关键词自动抽取研究TF．IDF TF-IDF与规则相结合的中文关键词自动抽取研究 TF．IDF and Rules Based Automatic Extraction of Chinese Keywords Abstract As a basic issue of natural language processing,keywords extraction provides basic support for information retrieval，text clustering，automatic summary generation and SO on．It allows users understanding the main content of the article quicky and easily，SO they Can quickly determine what to do next． The keywords extraction work in this paper iS divided into candidate words identification and keywords extraction．Through Chinese keywords extraction experiments，we found that the performance of segmentation and the selection of candidate words Call affect the performance of later extracting w