机器学习与数据挖掘.pptxVIP

机器学习与数据挖掘样本准备（2）

样本准备2025/5/18MultimediaSearchEngineDatamining2对象在文档中可能只占很小比例用整个文档提取的特征含有大量噪声对象分割使用什么样的特征？如何计算？如何进行预处理？……特征与特征提取正负样本数可能严重失衡（1:10，1:100）样本可能包含噪声样本选择

特征何为特征？Inpatternrecognition,featuresaretheindividualmeasurableheuristicpropertiesofthephenomenabeingobserved.Incomputervisionandimageprocessingtheconceptoffeatureisusedtodenoteapieceofinformationwhichisrelevantforsolvingthecomputationaltaskrelatedtoacertainapplication.

特征2025/5/18MultimediaSearchEngineDatamining4何为特征？特征：实体（或事物、概念……）区别于其它实体（事物、概念……）的独特的属性特征=特+征性质独特的特殊的有比较，才有独特、特殊

特征特征的属性独特性目标实体和非目标实体有不同的取值范围?确定性特征，概率性特征可计算性以可接受的代价从目标实体采集数据并计算出来?特征的成本?特征的质量（噪声）

特征2025/5/18MultimediaSearchEngineDatamining6STEP4STEP3STEP2STEP1特征组的属性完备性可以完全区分目标实体和非目标实体必要性对区分目标实体和非目标实体是否必要独立性特征之间是否相关

特征2025/5/18MultimediaSearchEngineDatamining7特征的种类（应用意义上）多媒体特征（视觉、听觉特征）频率、节奏……文字/关键字特征颜色、纹理、形状……字频、词频……元数据特征目录名、链接、链接文字、日期……

特征提取2025/5/18MultimediaSearchEngineDatamining8何为特征提取？从原始数据计算出特征的数值（或模型）特征提取须考虑的问题可计算性特征提取时，数据采集往往已经完成，特征提取不具备采用不同数据采集手段的灵活性成本计算复杂度，吞吐率，延迟，人力开销……噪声很多多媒体特征提取准确率低

特征提取2025/5/18MultimediaSearchEngineDatamining9像素特征直接用像素的颜色值表示特征实现简单信息质量差仅包含单个像素的信息同时包含需要的信息和不需要的噪声难以表示全局信息后续分类和处理困难

特征提取2025/5/18MultimediaSearchEngineDatamining10颜色特征颜色是人眼非常敏感的特征如何提取和表示颜色特征？平均颜色把所有像素的颜色值当作矢量，计算所有像素的颜色矢量的算术平均

特征提取2025/5/18MultimediaSearchEngineDatamining11颜色特征一阶矩(均值)：颜色矩如果把像素看成随机变量，则其分布特性可以由矩来描述二阶中心矩(标准差):三阶中心矩:维数低，易于计算信息量少，对噪声敏感

特征提取2025/5/18MultimediaSearchEngineDatamining12颜色特征颜色直方图直方图：概率密度函数颜色：三维?如何统计直方图？方法1：三维颜色直方图直方图的每个槽对应一组（R,G,B）矢量值RGB均0~255?直方图有256*256*256=16M个槽?图像像素数：704*576=405K,1920*1080=2M?统计直方图需要使用较粗的量化一般量化成16级?16*16*16=4096个槽维数仍然很高

特征提取2025/5/18MultimediaSearchEngineDatamining13颜色特征颜色直方图方法2：三个一维直方图对R、G、B三个颜色分别统计一个直方图不进一步量化：256+256+256=768维每种颜色量化成16级：16+16+16=48维优点：维数大大降低缺点：颜色之间的相关信息丢失在较独立的颜色空间统计（如：YUV，HSI）亮度统计一维直方图，色度统计二维直方图直方图的维数仍然较高

特征提取2025/5/18MultimediaSearchEngineDatamining14颜色特征聚类颜色直方图普通颜色直方图不管图像本身的颜色分布，整个颜色空间的所有颜色都是直方图的槽维数高必须覆盖整个颜色空间精度差对颜色空间