一种半监督学习的大数据关键词词典构建方法.docxVIP

一种半监督学习的大数据关键词词典构建方法 针对大数据环境下需要建立专业领域的关键词词典的情况，本文提出了一种半监督学习的方法。该方法可以借助少量人工初步标注信息构建出大规模词典，包括关键词、实体及其属性，且能够有效增加正确率和准确率，从而取代常规的手工建字典方法。该方法包括四个主要部分：（1）建立标注集，监督训练模型；（2）预测新的句子；（3）根据预测的结果构建关键词词典；（4）利用关联规则、词向量、语义联系等技术优化构建的词库。首先，对项目实体和属性进行标记，得到有效的少量标记数据，然后使用机器学习技术构建模型，以便预测新的句子类型。然后，使用这种方法构建的模型来预测未标注的文本，进而构建出涵盖实体和属性的关键词词典。这种词典可以通过机器学习技术，传统的规则技术以及新的技术，如语义联系、关联规则和词向量分解等来改进，以获得更高的准确率和正确率。 本文所提出的半监督学习方法不仅仅是使用有限标注数据进行训练，而且可以有效增加正确率和准确率，从关键词、实体及其属性构建出高质量的大规模词典，代替常规手工建字典方法，使文本挖掘变成了可能。此外，结构化的词典可以作为基础，利用机器学习技术、传统的规则技术以及新的技术进行优化，从而构建出更准确的词典，提高挖掘的性能。