《01_数据挖掘概论.pptVIP

生物医学数据挖掘 上海交通大学基础医学院 生物医学工程学科, 计算机教研室 2011年 第一章 概论 数据挖掘的实质和目的 背景 数据挖掘的定义 医学研究的关系 数据挖掘的过程 数据挖掘的方法与分类 预测型 描述型 第一章 概论 数据挖掘的目的和应用 背景 在实际生活中有种种需要 产生数据挖掘的最初需求不是来自于医学 数据挖掘是一种数学工具 Why Mine Data? Commercial Viewpoint Lots of data is being collected and warehoused Web data, e-commerce purchases at department/grocery stores Bank/Credit Card transactions Computers have become cheaper and more powerful Competitive Pressure is Strong Provide better, customized services for an edge (e.g. in Customer Relationship Management) Why Mine Data? Scientific Viewpoint Data collected and stored at enormous speeds (GB/hour) remote sensors on a satellite telescopes scanning the skies microarrays generating gene expression data scientific simulations generating terabytes of data Traditional techniques infeasible for raw data Data mining may help scientists in classifying and segmenting data in Hypothesis Formation 数据挖掘产生的驱动力 市场因素 信息技术 存储费用大幅度下降：产生了巨大的数据库 交易数据可自动获取 Internet：个性化的数据 案例一 购物篮:购物习惯分析 根据习惯指导经营模式 -- 最大利润 分配资源的策略 商品促销手段 顾客群的购物行为规律 …… 案例一 购物篮:购物习惯分析 意大利，超市，37家连锁店 75天的会员消费记录 46727条记录，涉及5000多类商品 20种最常购买食品 结论 番茄酱+面条+金枪鱼 面包+牛奶 …… 案例二 银行贷款: 客户信用评价 如何评价未知客户的信用? 从历史的记录来总结规律 → 数据挖掘 1000个已知信用的申请人样本 20个状态参数 结论： (1)申请人的特征参数?模型?商业信用可能 ?评估放贷风险 (2)每一个特征因素对最终信用评价的影响作用 案例三 公共卫生：致病相对危险因子评价 ACEI ? 血管性水肿？ 132000例病例（已使用ACEI） 其中114例产生了过敏反应 考察35个因素（基本12，住院诊断8，用药15） 得出417项规则 其中37项有重大意义，被临床所证实 案例四 大规模临床调查：危险因素与心肌梗死的关系 大型国际性标准化病例对照研究INTERHEART评估世界各地区危险因素对冠心病的影响程度，制定相应的预防冠心病策略 涉及52个国家与地区 252个临床研究中心 29972例，其中心肌梗死:正常≈1:1 可测危险因素9种 结果 案例五 胃癌患者手术治疗的预后分析 手术影响预后的高发因素研究 我国 1072例，胃癌手术后，3年生存期 结果：术中未输血的3年生存率是输血的3倍 结果是否合理？ 案例六 欺诈检测 商业问题：欺诈增加成本，或减少收益 解决方法：用神经网络、Logistic回归确定欺诈性例子的特征，以便将来防止（类似事情发生）或更有力的检举 收益：通过减少不理想的客户来增加收益 例子：马萨诸塞州汽车保险局 通过专家细察过去的、关于保险理赔的报告去确定欺诈的例子 关于原告、事故类型、伤害类型/处理措施的一些特征（超过60）都编入数据库 用降维方法去获得带有权重的变量，多元回归分步子集选择方法以识别和欺骗强关联的特征 Mining Large Data Sets - Motivation There is often information “hidden” in the data that is not readily evident Human analysts may take weeks to disc