数据分析方法和模型.ppt

分析技术及模型——贝叶斯网 分析技术及模型——影响图 爬山法 LearnBN-HC(X,D,f,y0) 输入：X——一组变量； D——一组关于X的完整数据 f——一个罚项似然度评分函数； y0——一个初始贝叶斯网络结构 输出：一个贝叶斯网 1. y? y0 ；? ? y的参数的最大似然估计 2. oldScore ? f(y, ?|D) 3.while(true) 4. y* ? null; ?*? null; newScore ? -? for(每个对y做一次加边、减边或转边而得到的模型结构y’) 6. ?’ ? y’的参数的最大似然估计 tempScore ? f(y’, ?’|D) if(tempScorenewScore) y* ?y’; ?* ? ?’; newScore ?tempScore 爬山法 end if end for if(newScoreoldScore) y ?y*; ?*? ?*; oldScore ?newScore else return(y, ?) end if end while 爬山法可能陷入局部最优或是爬不过坪区而找不到全局最优 多次运行爬山法，每次都从一个随机产生的新结构开始，最后取各次运行结果中最优的那个作为最后结果 也可使用模拟退火、遗传算法等 贝叶斯网的应用 1.医疗诊断 从一系列临床观测和化验结果出发，对病人所患疾病的类别及其程度进行判断 PATHFINDER网络 疾病节点有63取值，代表淋巴结的63种不同的疾病 其它节点代表病人的症状 疾病节点是所有症状节点的父节点 用PATHFINDER网络进行诊断： 给定症状变量的取值，计算疾病变量的后验分布，然后把后验概率最大的那个疾病作为诊断结果 贝叶斯网的应用 2.工业应用 贝叶斯网在工业中的应用很广，涉及金融分析、产品设计、生产制作工艺、工业过程监控管理、在线故障诊断、可靠性分析 故障诊断——目的是找出导致一个控制系统失灵的故障部件 自动故障诊断往往需要在系统中嵌入各种传感器，以监视系统部件的运行状态，并通过实时推理，及时发现出故障的部件 汽车启动故障诊断贝叶斯网 导致汽车无法启动的原因有多个，故障诊断就是根据观测到的证据进行概率推理，找出后验概率最大的那个原因 贝叶斯网的应用 3.金融分析 在金融分析中，贝叶斯网被用于解决石油价格预测、证券风险与回报、风险投资决策、运筹风险分析等问题 证券风险回报分析的贝叶斯网 ABX、AEM、BGO是3家从事黄金开采的公司，图中表示各自的股票回报 回报都依赖于股票市场、黄金价格及与各自股票相关的一个效应因子 基于这个贝叶斯网进行分析的结果是一个证券回报概率分布，进一步还可以计算回报的期望值、期望方差及风险等信息 贝叶斯网的应用 4.计算机系统 贝叶斯网在计算机系统中的应用包括程序理解、软件测试、垃圾邮件过滤、决策信息显示、信息提取、用户特征提取等 打印机故障诊断贝叶斯网局部 当出现打印颜色过浅的问题时，可能的故障有多个，包括墨粉不均匀、墨盒故障、数据出错、打印驱动故障等 这些故障可以采取措施修复：摇晃重置墨盒、换墨盒、关电源重启 贝叶斯网的应用 5.军事应用 战场上局势复杂多变，充满不确定性，涉及的问题往往具有实时性、动态性及离散和连续变量相混合的特点 贝叶斯网在军事上的应用包括目标识别、多目标跟踪、自动防御、战场推理、训练仿真等 作战飞机身份识别的贝叶斯网 分类：飞机类型 雷达：飞机的雷达信号类型 身份：敌、友、中性 根据收集到的证据，计算飞机身份的后验概率分布，最终决定是否射击 贝叶斯网的应用 6.生态学 生态学家和野生动物学家面临的一个任务是分析人类活动对环境及濒临灭绝物种的影响 数据采集比较困难，需要有效地将珍贵数据与专家的主观评价结合起来支持有关决策 河口藻化现象的贝叶斯网 藻化现象指的是由于人为因素的影响使得某个水域的藻类植物过分生长的现象 藻化现象涉及在不同时空尺度上多个过程的相互作用，传统方法效果不好 网络描述了藻化现象中多个变量之间的因果关系，为生态环境的监控和干涉后果的预测提供了可行的方法 影响图（Influence Diagrams，IDs） 影响图是Howard 和Matheson于1984提出的一种不确定环境中描述复杂决策问题的图模型，它表达了变量间的依赖关系、条件独立关系和决策者的偏好信息 影响图在决策问题的定性描述和定量说明之间搭建了桥梁，既能被计算机处理，也容易被不同层次的技术人