面向开源科技情报分析的智能文本分类方法研究.pdfVIP

·探索与交流·

面向开源科技情报分析的智能文本

分类方法研究

彭鹏徐红姣

（中国科学技术信息研究所，北京100038）

摘要：随着网络信息的爆发式增长，从海量的网络文本信息中识别有价值的科技情报并对其进行智能分

类成为开源科技情报分析的关键。针对开源科技情报文本的特点，构建了面向开源科技情报分析的文本智能

去噪与分类一体化模型。结合大语言模型与提示工程的自动标注方法进行噪声数据标注及文本分类数据标

注；基于预训练语言模型进行噪声识别与过滤，过滤非科技情报文本；利用多语言预训练模型及蒸馏技术，

改进损失函数设计，解决类别分布不均和数据不足的问题，实现在一定程度上提升多标签科技情报文本分类

的精度和稳定性的目标。实验结果表明，与TextCNN与BERT方法相比，所提出的方法具有较高的分类性能、

更好的鲁棒性和适应性。

关键词：开源科技情报；文本分类；信息过滤；预训练语言模型

中图分类号：TP391.1DOI：10.3772/j.issn.1673-2286.2025.02.007

引文格式：彭鹏，徐红姣.面向开源科技情报分析的智能文本分类方法研究[J].数字图书馆论坛，2025，

21（2）：65-72.

随着科技领域的快速发展，在各种网络平台上发标注数据获取成本高，尤其是在新兴科技领域。因此，

布的开源科技信息规模呈指数级增长，这些信息通常高效地过滤噪声并实现精准分类成为开源科技情报分

以非结构化或半结构化的文本形式存在，蕴含了大量析领域的重要研究方向。

有价值的科技情报。近年来，科技战略情报分析、企业近年来，文本信息处理技术取得长足的发展，研究

竞争情报分析、政府舆情情报分析等相关领域的研究人员针对文本数据的信息过滤与分类问题开展了广泛

人员不断挖掘互联网开源科技情报，开展各类研究。研究，模型在噪声环境中的鲁棒性和对复杂场景的适

然而，开源科技情报文本的复杂性、多样性和噪声干扰应性都得到一定程度提升。为此，本文针对开源科技情

为开源科技情报的有效提取和利用带来了巨大挑战：报特点，利用文本处理领域高效的智能文本过滤与分

①发布科技信息的平台众多，涉及政府部门、科研机类技术，构建面向开源科技文本的去噪与分类一体化

构、行业企业、科技媒体、社交媒体等，不同来源的数模型，提高开源科技情报获取效率和智能分析能力。

据格式和结构不一致，处理难度较大；②这些平台除了

发布科技类的开源情报，还会涉及其他各种非科技类1相关研究

的主题信息；③这些平台发布的科技信息中通常包含一

定量的专业术语和领域特定知识，具有领域专业性，通文本分类是自然语言处理的基础任务之一，研究者

用模型难以直接适用；④针对这类科技文本的高质量提出了多种创新性方法以提升分类模型的性能。

收稿日期：2025-01-23

年第卷第期

202521265

文本数据质量是影响文本分类模型性能的关键因签分类模型，全面提升模型的分类性能。多标签分类虽

素之一。文本数据中的噪声不仅会干扰分类模型的训然具有较高的实用性和灵活性，但面临着标签不平衡、

练，还会导致模型在预测任务中的准确性下降。因此，标签语义少、标签之间存在复杂关联等问题，需要根据

研究人员开发了多种信息过滤方法，以应对这些挑战。数据和应用场景进行优化以提升性能。

[]

1

针对数据本身的噪声问题，Sun等提出基于掩码语言总的来说，开源科技情报分析通常以新闻报道、

模型的上下文文本过滤方法，通过设计掩码预测机制，社交媒体等为数据源，此类数据源中通常蕴含大量噪

使模型能够学习上下文关系