数据聚档和异常数据识别技术研究.pdfVIP

公安信息化

数据聚档和异常数据

识别技术研究

公安部第一研究所

薛艺泽王乾平王秋实高彬

摘要：针对每天产生的大量数据如何充分高效应用的问题，首先研究了数据聚档技术，以应用最广泛的人像数据为例来研

究一维数据聚档，以时空数据为例来研究多维数据聚档，同时，提出了一种异常数据识别的算法。实验结果表明，

该研究成果实现了异常数据的快速准确识别。

关键词：时空数据数据聚档数据挖掘

提高数据的一致性、准确性和可访问性，为后续的决策、研

引言究或业务应用提供更可靠的基础。在完成数据聚档后，利用

在当今万物互联的时代，各个领域每时每刻都产生大异常数据挖掘技术可以从聚档后的数据中找出那些偏离常规

量的数据，数据量极其庞大且呈持续增长的趋势。全球范围的数据点，以去除噪声、缺失值和异常值等异常数据，这些

内，每天新增的数据量可能达到数十亿甚至数万亿字节。数异常数据的发现也会对数据聚档工作进行反馈优化。异常数

据的类型包括文本、语音、图片、视频等多种形态。据挖掘在很多领域都有应用，比如金融领域用于监测欺诈交

如何在爆炸式的数据海洋中找到同类数据，同时有效易，工业领域用于设备故障预警，网络安全领域用于发现异

剔除异常数据，实现数据充分、高效应用，成为一个重要的常网络行为等，它可以帮助人们及时发现问题、采取措施，

研究内容。数据聚档，就是把分散的且具有关联的数据进行避免潜在的损失和风险。最后，基于正常数据，根据数据特

汇总和整合，最终形成一个有组织的数据集合或档案，以便点和业务需求，建立合适的数据模型，如统计模型、机器学

于更好地管理、分析和利用这些数据。通过数据聚档，可以习模型和深度学习模型等来服务业务场景。

36警察技术2025年第1期

2.DBSCAN（基于密度的聚类算法）

一、数据聚档技术

DBSCAN根据数据点的密度将其分为簇，它能够识别

（一）聚类算法异常点（噪声），DBSCAN不需要指定簇的数量，而是根

聚类算法是一类机器学习算法，用于将数据集中的对象据数据来发现簇的结构。图3是DBSCAN应用的一个示例结

分组或“聚类”到具有相似特征的集合中。这些算法的目标是果图，DBSCAN能够识别出图中黑点即异常点（噪声），

在不需要明确指定分组的情况下，自动发现数据中的模式和结并且能够根据密度信息自动将数据点分为三类。

构。聚类算法通常用于数据挖掘、数据分析、图像分割、文本Estimatednumberofclusters:3

分类、推荐系统等领域。以下是一些常见的聚类算法。2.0

1.K-Means聚类1.5-

K-Means是最常见的聚类算法之一。在数据集合中选1.0

0.5

择K个点作为每个簇的初始中心，然后将剩余数据划分到距