AI芯片应用开发实践：深度学习算法与芯片设计 课件汇总 第1--4章 认识AI芯片--- AI芯片应用开发框架.pptx

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;AI芯片硬件平台的分类;;;;;;;;;;;网路设备;;;;;;;;;;ADC转换模式;ADC转换模式;ADC转换模式;ADC转换模式;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;数据预处理概述;;;;;;;;;;;;;;;;;;;;3.3.2Gstreamer工具;;3.3.4编写Gstreamer插件;;;;缺失值是数据处理中常见的问题，常用的填充方法有哪些?它们各自适用于什么样的情况?

;异常值在数据分析中可能引入误导性的结果,解释异常值的检测和处理应该采取的策略并说明原因。

;重复数据可能对分析结果产生偏差，分析删除重复数据是否是合适的方法，并说明是否有其他替代方案吗？

;分类数据转换为数值数据是数据预处理中的重要步骤，讨论两种常用方法的优缺点，以及在何种情况下应该选择哪种方法？;数值特征缩放对于某些机器学习算法的性能至关重要，常用的缩放方法有哪些优缺点?在什么情况下使用哪种方法更为合适?;特征选择是建模过程中的重要步骤，分析选择具有什么样特性的特征能够更好地影响模型性能，并举例说明。;在处理维度较低的特征空间时。常用的技术有哪些优势和劣势?它们适用于什么样的数据集?;数据预处理中的第一步是数据清洗，分析数据清洗的重要性体现在哪些方面，并举例说明;缺失值是数据处理中常见的问题，常用的填充方法有：

均值填充：用均值填充数值型数据，适用于数据分布对称且缺失值较少的情况，但可能引入偏差。

中位数填充：用中位数填充数值型数据，适用于数据有偏或存在异常值的情况，对异常值更为鲁棒。

众数填充：用众数填充类别型或离散型数值数据，适用于某类别频率较高时。

前向填充：用前一个已知值填充时间序列数据，适用于有顺序关系的数据。

后向填充：用后一个已知值填充时间序列数据，适用于有顺序关系的数据。

常数填充：用预定义常数值填充缺失值，适用于对数据分析结果影响不大的情况。

K近邻填充：用最近邻样本均值填充，适用于数值型或类别型数据，但计算开销较大。

回归填充：用回归模型预测缺失值，适用于数据间存在线性或非线性关系时，但计算量大。

多重插补：生成多个填充数据集并合并结果，适用于缺失值较多且需考虑不确定??的情况。

插值法：用插值算法填充连续型数据，适用于有趋势的时间序列数据。

模型填充：用机器学习模型预测填充，适用于多特征间有非线性关系的复杂数据。;异常值是与其他数据点显著不同的观测值，可能扭曲数据分析结果。检测和处理异常值是数据预处理中的重要步骤。常见的异常值检测方法有：

统计方法：

箱型图：通过四分位距(IQR)识别异常值，适用于一维数据。

Z-score：标准化差异，超出3倍标准差的值为异常，适用于正态分布数据。

正态分布的概率密度：基于正态分布的假设，适用于符合正态分布的连续数据。

图形方法：

散点图：直观展示数据点，适用于两个变量之间的关系。

密度图：查看数据分布密度，帮助发现低密度区域的异常值。

基于模型的异常值检测：

孤立森林：通过分割数据集检测异常，适用于大规模和高维数据。

LOF：计算局部密度来识别异常，适用于密度变化大的多维数据。

常见的异常值处理方法包括：

删除法：删除含异常值的样本或特征，适用于异常值少且删除不影响数据集时。

替代法：用合适的值填补异常值，适用于偶尔出现的错误值。

变换法：对数据进行变换减少异常值影响，适用于偏态分布数据。

修正法：将异常值限制在某一范围内，防止其过度影响模型。

分箱法：将连续数据分箱，适用于无法通过简单规则检测异常值的数据。;删除重复数据的优缺点

优点：

简化分析：减少冗余数据，保持数据简洁一致。

提高模型准确性：消除录入错误或数据采集问题带来的噪音，避免影响模型学习。

减少计算负担：减少冗余数据对计算的影响，提升效率。

缺点：

可能丢失重要信息：某些情况下重复数据有意义，删除可能丧失关键特征。

不解决根本问题：删除未必能解决数据收集中的系统性错误。

删除重复数据是否合适？

输入错误：若重复数据来自输入错误，删除合适。

重复数据有意义：如反映真实情况，需根据分析需求处理，避免删除。

影响模型训练：若重复数据导致过拟合，可删除。

影响统计分析：若影响统计结果，删除为合适选择。

替代方案：

聚合重复数据：按特征分组，应用聚合操作（如求和、均值等），保留核心信息。

标记重复数据：添加标记区分重复项，保留数据便于后续分析。

使用加权方法：对重复数据加权，减少其对分析结果的影响。

利用模型筛选重复数据：通过机器学习模型识别并处理重复数据，适用于大规模复杂数据集。;分类数据转换方法：标签编码与独热编码

标签编码（LabelEncoding）

方法：将每个类别分配一