04-回归分析.pptVIP

生物医学数据挖掘 上海交通大学医学院 计算机应用教研室 龚著琳 回顾 第二章 数据采集与准备 一．数据的采集和组织 二．数据预处理 1. 目的 2. 数据的分布状态 3. 数据清洗 4. 数据整合 5. 数据变换 6. 数据精简 第三章 回归分析 一.功能目的 二.方法/模型 1.线性回归 2.Logistic回归 3.ANN,人工神经网络 4.回归树/决策树 三.回归分析应用实例 第三章 回归分析 一.功能目的 揭示响应变量随一个或几个自变量的变化而发生响应的规律 多种形式：线性/非线性、ANN、决策树 结果：模型 作用：预测型 一般过程 第三章 回归分析 一.功能目的 二.方法/模型 1.线性回归 2.Logistic回归 3.ANN,人工神经网络 4.回归树/决策树 三.回归分析应用实例 一元线性回归 二.方法/模型 线性回归(用公式表示规律) 样本-变量间的定量关系 性能：残差最小 变量系数：影响的显著性 简单明了、容易计算 一元线性回归 几种模型 （１）线性函数形式 （２）二次函数形式 （３）高次方程形式 （４）指数函数形式 分类型变量在回归方程中如何使用？ 分类型变量（二值、排序型除外） 转变为数值型（增加变量） 例：属性”分布形式”有5个取值 第三章 回归分析 一.功能目的 二.方法/模型 1.线性回归 2.Logistic回归 3.ANN,人工神经网络 4.回归树/决策树 三.回归分析应用实例 Logistic回归 多元线性回归 y＝β0+β1X1+β2X2+…+βpXp y为数值变量 若y为分类变量：发生/未发生，阳性/阴性等，则以上模型不适用 用发生的概率P来代替 y p＝β0+β1X1+β2X2+…+βpXp Logistic回归 Logistic回归是一种非线性的模型 适用于：应变量为二值（1和0） 如：发生/未发生、阳性/阴性、有效/无效 计算P(事件发生/不发生的概率) Logistic回归 Logistic 回归模型为:概率模型 ln[P/(1-P)]=β0+β1X1+…+βpXp 或： exp(β0+β1X1+…+βpXp) P = ───────────── 1+ exp(β0+β1X1+…+βpXp) 其中：P为发生的概率 X1, X2, …, Xp为影响疾病发生的因素 Logistic回归 等式左边 变化范围 P 发生的概率 0≤ P≤1 1－P 不发生概率 0≤ P≤1 p/1-p 比值(odds ratio) 0≤ p/1-p+∞ ln(p/1-p) 对数比 (ratio) -∞ln(p/1-p)+∞ Logistic回归 实例1： 冠心病coronary artery disease(y/n)：与年龄、体重、性别、吸烟史、血压等因素的关系 Logistic回归例 实例2:糖尿病人数据 血脂、血压、血糖 1 异常 0正常 心血管终点事件(endpoint) 1 发生 0未发生 有何影响？如何影响？ 讨论 (1)采集数据：10524条记录 15.47% 1628例 发生终点事件 84.53% 8896例 未… 原始数据 数据整理 (2) Logistic回归模型 P31 式3.7 得到 式3.8 讨论 (3)测试样本的测试结果： (4)如何解释上述回归模型？ 血脂 0.161，权重最小 血压 0.992，… 最大 血糖 0.444 回归方程 优点:表达清晰,计算方便。 问题: (1)假定各因素间无相互作用,是独立的。 (2)不能反映因素间的相互作用(协同或拮抗)。 第三章 回归分析 一.功能目的 二.方法/模型 1.线性回归 2.Logistic回归 3.ANN,人工神经网络 4.回归树/决策树 三.回归分析应用实例 生物神经元 人工神经网络 Artificial Neural Networks，ANN 描述非线性依赖关系 ANN的结构 输入神经元：自变量 输出神经元：应变量 中间神经元：由设计者决定 性能 激励函数 训练的结果：偶合系数或权重（weight） 人工神经网络 人工神经网络 ANN的输入 通常输入值限制在[0，1] 数值型：数据归一化（最小-最大归一法P23，适合ANN） 分类型：转换为亚变