基于半监督学习的中文电子病历分词和名实体挖掘-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Classified Index: 391.1 : 638.1 Dissertation for the Master Degree in Engineering WORD SEGMENTATION AND NAMED ENTITY MINING BASED ON SEMI SUPERVISED LEARNING FOR CHINESE EMR Candidate： Zhang Libang Supervisor： Guan Yi Academic Degree Applied for： Master of Engineering Speciality： Computer Science and Technology Affiliation： School of Computer Science and Technology Date of Defence： June, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 摘 要 电子病历是由医务人员撰写的面向患者个体的描述医疗活动过程的数字化 记录，是传统纸质病历的替代品。电子病历包含了关于病人个体健康信息的全 面、详实、专业、即时、准确的描述，是一种非常宝贵的知识资源。通过分析 和挖掘电子病历，可以从中获得大量与患者密切相关的医疗知识。这些知识可 应用于构建临床决策支持系统和提供个性化健康信息服务。电子病历并非完全 结构化的数据，其中自由文本形式的非结构化数据在电子病历中占有重要地位。 因此，分词和名实体识别等自然语言处理技术将在电子病历知识挖掘中发挥重 要作用。 目前最有效的分词和名实体识别方法是基于词典或有监督机器学习的方法。 但由于电子病历的专业性，人工构建专业词典或训练语料的难度极大。为了克 服获取熟语料困难的问题，本文分别提出了基于半监督学习的中文电子病历分 词和名实体挖掘方法。 大量的未登录词是中文电子病历分词所面临的的最大挑战，它们通常是医 疗专业术语及缩写。本文将电子病历分词分为两个步骤。首先，使用开放领域 词典，根据最大似然原则对电子病历进行初步的切分。其中，词的出现概率由 EM 算法从大规模未标注语料中学习得出。然后，利用字串的边界熵、长度等 信息，通过有序聚类算法对初步切分结果进行调整，以达到识别未登录词的目 的。实验结果表明，该方法是可行的，具有较强的识别未登录词的能力，其效 果优于基于边界熵的无监督分词。 与开放领域文本相比，中文电子病历文本具有很多不同之处，主要体现在 使用半结构化的方式组织各部分内容以及语言简洁且模式化较强这两个方面。 针对这些特点，文本提出了分而治之的处理策略，即利用文本模式从病历的不 同部分挖掘不同类型的实体。其中，文本模式由 Bootstrapping 算法利用少量已 标注的实体从大规模未标注语料中学习得出。实验结果表明，该方法在挖掘疾 病类实体时效果较好，但在挖掘治疗和药品时效果较差，仍需进一步改进。 关键词：电子病历；半监督学习；EM 算法；有序聚类；Bootstrapping 算法 I - Abstract Electronic medical records(EMRs) are digitized records written by the medical staff for the individual patients medical activities. They are the alternative to the traditional paper-based medical records. EMRs contain comprehensive, informative, professional, real-time, accurate description about individual patients’ health. It is a very valuable knowledge resource. Through analysis and mining of electronic medical records, we can derive a lot of medical knowledge which are closely related to patients. These knowledge can be used to build clinical decision support systems and provide personalized health information services. EM