原创力文档- 0
- 0
- 约1.65万字
- 约 18页
- 2023-08-16 发布于四川
- 举报
本公开公开了一种内容重复识别方法、装置、系统和存储介质，涉及查重技术。该方法包括：获取内容对应的编码向量；在分布式检索库中查询与编码向量匹配的样本，识别是否存在重复内容；以及将编码向量插入到一个节点的检索库以及存储在存储设备中，其中，该存储设备存储预定时间内的数据，每个节点的检索库定时根据相应节点对应的存储设备内存储的数据进行同步。本公开能够在实现重复识别的同时，剔除检索库中已过期的向量，解决动态时间区间向量检索库更新的问题，提高了在海量数据的快插快查场景下的服务稳定性以及性能。
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 116595065 A
(43)申请公布日 2023.08.15
(21)申请号 202310521997.4 G06F 16/2455 (2019.01)
文档评论（0）