《数据挖掘与机器学习》 课件4.1.2 离散化处理和属性构造.pptx

处理电商平台用户行为数据电商平台用户购买预测——逻辑回归

任务描述某电商平台需要对该平台的运输行为进行分析，并预测运输行为是否会按时到达。本任务需要对这些数据进行处理和分析，以帮助该电商平台更好地了解运输行为，并优化运输策略，提高客户满意度。在处理敏感的电商平台用户数据时，需要特别关注网络信息安全问题。在数据预处理过程中，应当采取措施保证用户数据的机密性、完整性和可用性。本任务的目标是对原始数据进行数据预处理与探索，包括数据的哑变量处理和属性构造。

任务要求探索电商平台运输行为数据。对性别变量进行哑变量处理。构造总成本的特征。

哑变量处理离散化处理属性构造

离散化处理离散化处理主要应用于某些场景下的连续变量数据，将其转化为离散变量数据，从而降低数据的复杂度、降低计算量，提高模型的建立和训练效率。常见的离散化方法有等宽离散化、等频离散化等，可以根据实际情况选择不同的离散化方法。什么是离散化处理？

等宽法等宽法（Equi-WidthBinning）将变量的取值范围划分为k个等宽的区间，将落在同一个区间内的数据归为同一类。什么是等宽法？01234567891011121314

等宽法等宽法（Equi-WidthBinning）将变量的取值范围划分为k个等宽的区间，将落在同一个区间内的数据归为同一类。什么是等宽法？01234567891011121314

等宽法等宽法划分示例图用户ID年龄1282323254405356277308269381029年龄[26-30][31-35][20-25][36-40][31-35][26-30][26-30][26-30][36-40][26-30]

如何实现等宽法处理？在Python中，使用pandas库的cut函数可以实现等宽离散化处理，其基本使用格式如下。等宽法pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates=raise)

cut函数常用参数及其说明等宽法pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates=raise)参数名称说明x接收Series或Numpy。表示输入的数据集，无默认值bins接收int。指定离散化的区间，可以是一个整数、一个序列（表示区间边缘的数值）或者字符串（表示自定义区间的名称），无默认值right接收bool。是否包含右边界，默认为Truelabels接收bool。指定离散化后每个区间的标签，可以是一个列表或数组，长度应该与分组后的区间数量相同。默认为None

cut函数常用参数及其说明等宽法retbins接收bool。是否返回每个区间的边界值，默认为Falseprecision接收int。设置显示区间边界的小数位数，默认为3include_lowest接收bool。是否将最小值包含在第一个区间内，默认为Falseduplicates接收指定str。当区间存在重复时，指定如何处理。默认为raise参数名称说明pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates=raise)

等宽法对年龄变量进行等宽离散化处理主要通过以下4个步骤实现。观察离散化处理前的数据集选取数据集的“年龄”变量列将“年龄”列按照相同间距划分为4个区间输出离散化处理后的数据集

等频法等频法（Equi-DepthBinning）将变量的取值范围划分为k个区间，每个区间包含大致相等数量的数据点，也称为分位数法（QuantileBinning）。什么是等频法？

等频法等频法（Equi-DepthBinning）将变量的取值范围划分为k个区间，每个区间包含大致相等数量的数据点，也称为分位数法（QuantileBinning）。什么是等频法？

等频法如何实现等频法处理？在Pyth