医疗数据离群点检测方法的研究.pdfVIP

摘 要 离群点检测是数据挖掘领域一个重要的研究方向，用于揭示隐藏在数据中的 重要信息，尤其在医疗诊断，入侵检测网络，信用卡欺诈，传感器敏感事件检测， 地球科学等领域被广泛应用。而由于人眼只擅长处理二维或者三维的可视数值数 据，所以利用人眼发现高维数据集中的离群点往往是比较困难的。因此我们对离 群点检测技术深入研究是必要的。 针对医疗诊断数据的离群点检测方法进行了深入分析与仿真实验研究，取得 了具有理论意义和应用价值的结果。 首先，针对给定的医疗数据集中离群点显著地偏离数据集中的其余对象，本 文提出一种基于平均距离和平均密度的离群点检测的改进方法。该方法对数据集 进行全局离群点检测，并利用平均距离求得每个数据对象的平均密度，随后计算 平均邻域邻居数进行数据划分，最后用选择算法对数据对象进行筛选。 其次，针对数据集中离群点局部远离数据集的大多数，本文提出了一种基于 图论的离群点检测的改进方法。该方法使用平均距离作为权重来度量每个数据对 象的累积入度值，并通过特定的阂值T来划分疑似离群点数据集，最后用选择 算法对数据对象进行筛选。 第三，针对数据集离散分布的特点，本文提出了一种基于K．S双样本检验 的离群点检测的改进方法。该方法基于采用两个新的累积分布函数来检验，分别 是来自数据集同一数据对象的K个最邻近距离的累积分布函数以及这K个点的 两两距离的累积分布函数，分析它们的相似程度来判断它们是否属于同一分布。 仿真实验表明，三种离群点算法的改进都能针对特定的医疗数据集进行准确 度为80％以上的离群点检测，并维护一个较低的误检率，其综合性能适用于数据 挖掘的应用。 关键字：离群点检测；医疗数据；数据挖掘 Abstraot inthefieldofdata used detectionisan researchwork Outlier important mining hasbeen used toreveal informationhiddeninthedata．It widelyespecially important inmedical detection card sensor network,creditfraud，interesting diagnosis，intrusion andotherfields．Becausethehumanis at science events，earth eye onlygood two—·dimensionalorthree--dimensionalvisualizationofnumerical processing data,SO from data theuseofthe it’Smoredifficulttofmdoutliers set high-dimensionalby is human ofoutlierdetection research eye．Therefore，thestudy technology necessary．