信息熵驱动下的数据约简算法深度剖析与实践探索.docx

信息熵驱动下的数据约简算法深度剖析与实践探索

一、引言

1.1研究背景与动机

在当今大数据时代，信息技术的迅猛发展使得各领域的数据量呈爆炸式增长态势。据相关数据显示，过去3年人类产生的信息数据总量比以往4万年的数据量还要多，数据的存储单位也从B、KB、MB、GB、TB扩展到PB、EB、ZB、YB。从互联网行业每日产生的海量用户行为数据，到医疗领域积累的大量病患诊疗记录，再到金融行业的交易数据，数据规模的膨胀已成为普遍现象。数据维度也随之变得愈发复杂，以图像识别任务为例，如果将图像的所有像素点都作为属性进行分析，数据维度极高，其中存在许多与图像识别任务无关的冗余像素信息。在金融