基于用户自然标注的TFpIDF辅助标引算法及实证研究.PDF

第６２卷 第１期　２０１８年１月 基于用户自然标注的ＴＦＩＤＦ辅助标引算法及 ? 实证研究 ■ 陈白雪　宋培彦 中国科学技术信息研究所　北京 １０００３８ 摘要：［目的／意义］从用户角度出发，研究基于用户自然标注的ＴＦＩＤＦ辅助标引算法。［方法／过程］首先 ? 以核心期刊论文中作者标注的关键词和分类号为源数据，通过对关键词词频进行统计，使用ＴＦＩＤＦ算法构建 ? 用户标注词表、形成标引知识库，然后通过ＩＫＡｎａｌｙｚｅｒ分词软件对待标引的科技项目数据进行切词和停用词处 理，进而使用ＴＦＩＤＦ算法和位置加权算法提取科技项目数据的特征词，最终实现对科技项目数据进行关键词 ? 和分类的同步标引。［结果／结论］实验结果表明，机标关键词与人标关键词的相似比在６０％以上的科技项目 数据占总数的６８．１％，机标分类号与人标分类号前三位一致的占总数的８３．９％，结果表明基于用户自然标注 数据并采用ＴＦＩＤＦ算法在关键词和分类标引方面是可行的。 ? 关键词：辅助标引　用户自然标注　ＴＦＩＤＦ算法　信息组织 ? 分类号：Ｇ２５４ 　　ＤＯＩ：１０．１３２６６／ｊ．ｉｓｓｎ．０２５２－３１１６．２０１８．０１．０１７ １　引言 可以是文字，也可以是其他符号［２－３］。用户自然标注 是根据用户已有的知识，结合对文献内容的理解，给出 　　信息组织是根据信息资源检索的需要，以文本及 能够代表该文本主要内容的标签或词语。目前，自动 各类型的信息源为对象，通过对其内容特征等的分析、 标引抽出的表达文献主题的关键词的准确性偏低，这 ［１］ 选择、标引、处理，使其成为有序化集合的活动 。其 在一定程度上是因为自动标引使用的知识库通常是依 中，信息标引就是对信息内容进行分析并充分而有效 靠领域专家手工建立的，难以较为全面地将用户使用 地予以揭示。信息标引分主题标引和分类标引，主题 的词语包含进去，其覆盖面和更新速度有待提高。而 标引是依据特定的主题，赋予文献主题标识的过程，主 用户自然标注能够为扩充知识库提供一个途径，将用 题标引可以采用标题语言、叙词语言和关键词语言等； 户对某一领域内常用的概念或主题词全面快速地扩 分类标引是依据特定的分类语言，赋予文献分类标识 充，并尽可能符合用户的使用习惯。因此，研究基于用 的过程。大数据环境下，机器往往需要依据相关的知 户自然标注的机器辅助标引算法，在提高自动标引的 识库，从文本中抽取能够表达文献信息内容的关键词 准确率以及标引结果更加符合用户使用习惯方面具有 或分类号，用于文本检索和分类导航等方面，因此，知 重要意义。 识库的构建是自动标引的重要研究内容之一。 　　通过用户自然标注构建知识库是自动标引的一个 ２　相关研究 重要思路。用户自然标注是用户在无意中为自然语言 ２．１　标引相关研究 处理研究的各种资源作了一定程度的义务“标注”，是 　　国内外对自动标引的研究主要集中在标引算法的 因特网用户对自己的资源或收藏的他人资源添加标签 ［４］