《医学知识图谱质量评价规范》.pdfVIP

ICS 35.020 CCS L 70 T/CI 中 国 国 际 科 技 促 进 会 团 体 标 准 T/CI XXX—2023 医学知识图谱质量评价规范 Specification for Quality Evaluation of Medical Knowledge Graph （征求意见稿） 2023 - XX - XX 发布 2023 - XX - XX 实施 中国国际科技促进会 发 布 T/CI XXX—2023 医学知识图谱质量评价规范 1 范围 本文件规定了医学知识图谱质量评价的基本要求、评价步骤、评价指标、评价报告。 本文件适用于医学知识图谱质量评价。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 42131 人工智能 知识图谱技术框架 3 术语和定义 GB/T 42131界定的术语和定义适用于本文件。 4 基本要求 医学知识图谱质量评价应使用真实、有代表性的数据样本，同时保护涉及个人隐私的数据，遵循 伦理和隐私保护准则。 评价工作应具有一定的灵活性，能够根据医学领域的变化和需求进行调整和调优，与医学领域的 实际需求相符。 应确保评价过程的透明性，详细记录评价步骤、指标和数据。 评价结果应能为医学实践、研究和教育提供实际支持，评价报告应对评价结果进行全面的解释， 明确优缺点和改进建议，为知识图谱的维护和更新提供反馈。 评价过程应与知识图谱的维护团队保持持续的交流和合作。 5 评价步骤 评价需求分析 分析用户的需求和期望，明确评价的重点，明确需要进行评估的内容与资源。 选择评价模式 5.2.1 采用定性与定量角度结合的评价方法，根据不同指标的侧重及实际应用的倾向，指标判定采用 简单比率法或德尔菲法。 5.2.2 结合评价需求选择评价过程中的框架和方法论，选择指标类别并设置指标权重。 评价结果计算 3 T/CI XXX—2023 根据选定的评价模式和指标，收集数据样本，应用相应的计算方法进行指标判定，评价结果计算应 确保数据的准确性和真实性。 评价结果分析 评价结果计算完成后，对评价结果进行分析，通过与原始数据进行比较，找出质量相关问题出现的 原因，并制定合适的优化策略，形成评价报告。 6 评价指标 评价设置二级指标体系，一级指标包含准确性、完整性、一致性、安全性、相关性、及时性、可 信性、可达性、互操作性、互联性、复杂性共11个，每个一级指标下设二级指标，共设置二级指标30 个。 表1 医学知识图谱质量评价指标 一级指标 二级指标 含义 知识图谱中的数据值、关系或三元组准确、可靠、无误表示真实世界事实 语义准确性 准确性 的程度 语法准确性 知识图谱中的数据的句法或结构的合规性 模式完整性 一个本体包含的类和属性是否完