1760队 B题数学建模竞赛.pdfVIP

参赛队号：#1760

第十五届“SPSSPRO杯”数学中国

数学建模网络挑战赛

承诺书

我们仔细阅读了第十五届“SPSSPRO杯”数学中国数学建模网络挑战赛的竞赛规则。

我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网

上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。

我们知道，抄袭别人的成果是违反竞赛规则的,如果引用别人的成果或其他公开的

资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参

考文献中明确列出。

我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规

则的行为，我们接受相应处理结果。

我们允许数学中国网站()公布论文，以供网友之间学习交流，数学中

国网站以非商业目的的论文交流不需要提前取得我们的同意。

我们的参赛队号为：1760

参赛队员(签名)：

队员1：

队员2：

队员3：

参赛队教练员(签名)：

参赛队伍组别（例如本科组）：研究生组

参赛队号：#1760

第十五届“SPSSPRO杯”数学中国

数学建模网络挑战赛

编号专用页

参赛队伍的参赛队号：（请各个参赛队提前填写好）：

1760

竞赛统一编号（由竞赛组委会送至评委团前编号）：

竞赛评阅编号（由竞赛评委团评阅前进行编号）：

参赛队号：#1760

2022年第十五届“SPSSPRO杯”数学中国

数学建模网络挑战赛第二阶段论文

题目基于Albert-TextCNN与DBSCAN文本聚类的唐宋诗分析

关键词唐宋诗;Albert-TextCNN;DBSCAN文本聚类;正向最大匹配

摘要：

唐诗和宋诗是中华文化的优秀瑰宝，是中国文学界的骄傲，深受大众喜爱。对于唐

宋诗的研究一直层出不穷，本文通过定量分析研究唐诗和宋诗之间的差异。

针对问题一，对附件给出的《全唐诗》中5万余首诗和《全宋诗》中26万余首诗

进行分析。首先对文本数据进行化繁为简和去重处理，利用Python里的Jieba中文分词

包对给出的文本数据进行预处理，将每首诗中的字和词划分开，通过去除停用词（助词、

介词、作者名、标点等）来优化分词结果，提高统计效率。然后应用神经网络模型对特

征进行选择和训练，将提取出的高频字词间关联性作为特征进行训练，选择AIBERT-

TextCNN模型作为训练模型，通过迭代卷积计算对文本数据进行标记学习，将转化后的

数据输入分类器，进行分类。最终通过特征识别，将数据分为训练集，测试集及验证集

进行模型数据的迭代训练，从而确定不同的朝代。例如白居易是唐朝诗人，田太竫是宋

朝诗人。

针对问题二，在问题一所得结果的基础上，选用DBSCAN聚类方法以文本特征作

为标准进行聚类。唐宋诗经去停用词，繁简体转换等数据清洗操作后，通过TF-IDF法

对文本进行向量化处理并赋予权值。在DBSCAN聚类过程中对所有诗句计算杰卡德系

数，并将其保存在杰卡德系数矩阵中，进行PCA降维处理，接着将每句诗的杰卡德系

数与范围值作比较，计算杰卡德系数大于范围值的节点数目，即可判断该诗句是否能够

成为核心点，是否有簇形成，从而得到聚类结果。最终依据字词之间的关联性和聚类结

果的分析，得到了情爱悼亡、咏史怀古、山水田园、贬谪流放、边塞战争、赠别思归、

忧民伤乱、言志咏怀8个子类。