基于隐含语义分析的抖音短视频语义检测方法.docx

?

?

基于隐含语义分析的抖音短视频语义检测方法

?

?

赵楠范书国甄琢孟丹

摘?要：随着短视频关注度的不断提高，抖音短视频已经成为当前时代热点。针对于短视频、短文本，向量空间模型（VSM）表示方法存在高维度、同义多义问题，导致难以准确度量文本相似度，该文提出了一种基于隐含语义分析的聚类方法，利用LSA将训练数据聚类成隐含语义主题，通过奇异值分解，将词向量和文档向量投射到一个低维空间，用层次聚类算法确定初始中心，然后聚类得到结果。结论表明，短视频中的核心语义内容被成功保留下来，运用矩阵降维方法降低了计算量，冗余的相关性干扰得以解决，改变了视频语义检测的整体效果。

关键词：隐含语义?层次聚类?奇异值分解?矩阵降维

：TP391.4??：A：1672-3791（2020）02（a）-0009-02

随着互联网用户数量的不断增长，网络短视频的数量也在与日俱增。因此，迫切地需要在数以万计的短视频中实现高速有效的检索。视频数据内容包含复杂的含义，视频数据之间也存在着内在联系。在视频图像中，图片特征与特征之间、视频片段与片段之间，视频语义与语义之间都存在着关联关系。通过这些关联关系，语义检测的计算成本可以得到减少，提高搜索的质量。视频语义之间的相关性有很重要的作用，视频语义内容之间会出现同义和多义等问题，这就是由于对视频语义的相关性忽略而引起的，会导致一系列缺陷。现在对视频语义相关性的关注度和重视度不足，为此，需要深入学习和研究视频语义相关性方面的知识和课题，让相关性发挥重要作用，同时解决一系列不利的问题。该文通过LSA（隐含语义分析）方法的理论指导，改进和丰富了抖音短视频内容检测中视频的主要数据特点，建立了根据视频语义内容创造的视频文档矩阵，说明了短视频的视频结构和相关性分析内容。

1?视频隐含语义关联性分析方法

1.1LSA基本思想

LSA的基本思想是认为词汇和词汇之间存在着一定的关联关系，文档和文档之间也存在着一定的关联关系，它们之间存在一种隐含式的文本语义结构，奇异值分解由词语统计频统向量构成的文档集合矩阵进行，再经过降维处理得到的语义结构，解决了因为视频语义相关性而引起的同义和多义等问题，而它的核心语义信息都成功保存下来，对为未来检测相似语义的目标文件，查询文件之间的相似程度有着重要作用。视频目标和视频对象的典型特征之间的相关性关系可以用来反映该短视频的具体语义内容，视频典型特征和相关性关系通过聚类会得到不同类别的信息，与视频的语义内容密不可分。相对于视频语义数据来说，没有明显的文本、文档内容，也没有广阔的语言内容空间，直接复制LSA的处理方法是不能实现的。所以，该文针对这个问题提出了解决视频语义建模的一个办法：将短视频分成许多帧，短视频中的每一帧图像都可以对应短文本中的每一个文件、文档，从而建立视频文档集合矩阵。对视频语义内容中的典型特征进行细分，分类后的每一部分可以对应文件文档以一个基础词汇，建立起视频特征词典。通过这两点，再对短视频进行进一步的扩展，当扩展数据库的容量时，可以将中等大小的短视频文件映射到文件文档向量。

1.2视频特征字典的建立

当开始创建视频特征词典的时候，应该对过去曾经用过的典型特征，通过K-means算法生成H个聚类，H个聚类应该对应H维的向量。我们也可以将视频特征词典的规模大小程度用H来表示。原因是K-means算法的基本属性就是如此，它可以对聚类结果的规模大小加以调整控制，因此，可以合理地使用这个特点，可以根据实际情况不断地调整特征词典的规模大小。可以根据实际需求创建一系列视频特征字典，用来应对不同层面的、不同类别的典型特征，接下来既可以单独运行，也可以联合起来对这类特征词典进行合理应用，从而满足不同层面上的需求。

1.3视频文档集合矩阵的建立

当开始创建视频文档集合矩阵的时候，如果将短视频分割成一系列帧，每帧图像分别对应着文件文档的每一个文件，因为短视频文件中的帧数庞大，就会导致文档集合矩阵范围庞大，会极大地降低计算的速率。所以，再进行建立视频文档集合矩阵操作前，需要对短视频实行预处理操作，将关键帧从短视频文件中分离出来，用关键帧充当文档的基础单元，目的是为了减少矩阵的范围，从而增加可行性。短视频被分割成一系列片段，形成一系列关键帧，每一个关键帧都拥有该片段最重要的内容，这一系列关键帧组合成这个视频片段。细分到每一个关键帧，还要继续将它割裂成不同片段，为了方便进行隐含语义分析操作，每个片段都应该占用相同区域大小。接下来，视频特征词典将要作为前提条件，提取出每个分割片段的典型特征，综合到一起，进行频率数字统计，然后综合所有片段的统计结果，形成一个对应这个关键帧的视频文档，从而也可以得出短视频的视频文档矩阵。

这种操作方法主要是通过分割关键帧来实现的，再用K-mea