面向医保基金风险防控的数据准备技术研究与实现-计算机软件与理论专业论文.docxVIP

摘要医保基金风险防控平台要系统地识别和衡量医保基金管理过程中存在的各 摘要 医保基金风险防控平台要系统地识别和衡量医保基金管理过程中存在的各 类风险，并通过选择和运用适当的管理手段避免及应对这些风险。它本质上是一 个决策支持系统，是知识发现与数据挖掘(KDD)的一个重要应用。而数据准 备是KDD过程中非常重要的一个环节，它为数据挖掘算法提供高质量的数据。 本文针对医保基金风险防控平台构建过程中存在的数据源类型复杂、元数据管理 混乱、ETL过程难以控制和维护、存在数据缺失等问题，对相关的数据准备技术 进行了研究和工具实现。 本文首先分析了源数据和目标数据的种类、内容，总结了医保业务系统中存 在的数据质量问题，设计了相应的ETL策略和元数据管理策略。对数据清洁问 题的缺失值问题进行了较深入的研究，提出了一种新的缺失值填充算法，然后设 计了正则表达式和模式匹配算法对半结构化源数据进行抓取、清洁和解析，接着 对原有的ETL方法做了改进，建立了ETL过程中的元数据管理模型和医保元数 据资料库，同时设计并实现了医保网络爬虫和一个具备元数据管理功能的医保专 用ETL工具，该工具已经在医保基金风控实验平台中得到应用，经实践对比后 表明，它有可视化程度高、开发成本低、便于ETL设计和维护等优点，弥补了现 有方法的不足，而元数据管理方面也克服了原来平面文件维护方式中存在的一致 性差、难于理解和维护等缺点，具有元数据集中管理、支持查询和血缘分析等特 性，为后续医保基金风险防控方法库和模型库的建立提供了数据质量保证 关键词：数据准备，空缺值处理，ETL，元数据管理，数据清洁，数据质量 中图分类号：TP311．13 复旦大学硕士学位论文 AbstractRisk Abstract Risk Prevention Platform of Medical Insurance Fund(RPPMIF)is tO recogmze and evaluate the risks in the management of the medical insurance and apply the appropriate methods to prevent and deal with the risk．In fact，it is decision suppon a svstern。which is a main application of KDD(Knowledge Discovery and Data Mining)．Data preparation is a critical part of KDD process．It provides high’quality data for Data Mining algorithms．Considering the complex date type of data sou。ces， chaos in metadata management，low maintainability of ETL process and data mlsslng in RPPMIF,this paper has a study on the related data preparation technique8· First．the types and contents of the sources and targets are analyzed，and cu盯ent data quality problems are found．After that this paper designs the ETL and metadata maIlagement strategy．Then it makes a profound research on miss data lmputatlon techniaues and brings forward a new imputation algorithm·Also it uses regex expressions and pattern matching methods to crawl，clean and parse the data 1n semi．．structured data sources． Second．this paper improves the ETL method，builds the metadata maIlagement an ETL tool model of ETL process and metadata repository,designs and implements and a metadata management t001．The tools