真实世界证据质量评价评分体系表.docxVIP

真实世界证据质量评价评分体系表

表A.1为真实世界证据质量评价评分体系表。

真实世界证据质量评价评分体系表

一级分类

二级分类

指标编号

指标名称

评价要点与扣分细则

缺陷扣分

实际扣分

一、研究前准备

1

问题明确

研究背景、目的、假设是否清晰，是否与医保准入的具体决策需求（如补充长期疗效、验证真实安全性）相关联。

研究目的模糊，未明确其旨在支持的决策场景，扣2

二、研究设计

样本与指标

2

样本合理

样本量是否充足，样本来源（如多中心、数据库代表性）是否能代表目标患者人群。

样本量过小，未进行功效分析或分析不合理，扣2分

样本来源单一（如仅来自单一医院），且未评估对结果外推性的影响，扣2分

入排标准与RCT完全一致，未能体现真实世界“广泛人群”特点，扣1分

3

指标规范

评价要点：主要疗效和安全性指标的选择是否有指南、共识或明确的临床合理性依据

关键指标（如OS、PFS、特定不良反应率）选择未引用权威依据，扣2分

主要使用替代终点或中间指标，但未充分论证其与最终健康结局的关联性，扣2分

合规与安全

4

数据合规

研究是否通过伦理委员会审查，数据获取和使用是否符合相关法律法规

研究报告未提及伦理审查批准号或声明豁免理由，原则性错误（否决证据）

5

安全审计

数据安全管理措施是否到位，是否有审计追踪记录

未描述数据加密、访问控制、脱敏等安全措施，扣1分

未提及数据操作日志记录情况，扣1分

三、数据来源

数据处理

6

有效提取

数据来源是否适用于研究问题，数据维度是否完整，提取方法是否可靠

所选数据库明显缺乏关键变量（如缺失结局指标数据），扣2分

数据提取方法未经验证，无法保证与源数据的一致性，扣2分

7

合理清洗

数据清洗流程是否透明、合理，如何处理缺失值和异常值

未描述数据清洗的具体步骤和方法，扣2分

缺失值处理方式不合理（如直接删除缺失率10%的变量而未说明），扣2分

未对异常值进行识别和处理，扣1分

8

高标准化

多源数据是否进行了有效的术语映射和结构标准化

合并多源数据时，未描述编码（如ICD-10、ATC）的统一过程，扣1分

未使用通用数据模型，或使用但未说明其适用性，扣1分

四、数据管理

数据质量

9

条件统一

实验组与对照组的基线是否可比，若使用匹配方法，其过程和效果是否报告

未对基线特征进行比较，或存在显著差异但未采用统计方法调整，扣2分

使用倾向评分匹配但未报告匹配比例、卡钳值及匹配后的平衡性检验结果，扣2分

10

变量合理

协变量（混杂因素）的选择是否有理论或文献支持

纳入重要的无关变量或遗漏关键的已知混杂因，扣2分

变量选择未考虑因果路径图，存在过度调整或调整不足的风险，扣1分

11

最小偏倚

是否识别并尽可能减少了选择偏倚、信息偏倚等

未讨论研究可能存在的潜在偏倚类型，扣1分

虽识别偏倚但未采取任何统计方法（如加权、工具变量）进行控制或评估，扣2分

五、统计分析

分析过程

12

过程合理

评价要点：是否有预先设定的统计分析计划，分析流程是否完整

分析计划缺失或与最终报告的分析方法存在重大不一致，扣2分

缺失关键分析步骤，如未进行描述性分析、未定义分析数据集，扣1分

13

方法有效

所选统计模型是否适用于研究设计和数据类型，假设是否被验证

模型选择错误（如对生存数据使用线性回归），扣2分

未检验模型的关键假设（如Cox比例风险模型的PH假设），扣1分

14

分析稳健

是否通过敏感性分析等方式检验结果的稳定性

未进行任何敏感性分析（如不同缺失数据处理方式、不同模型设定），扣2分

敏感性分析方法单一，不足以支撑主要结论的稳健性，扣1分

六、报告框架

报告质量

15

结构规范

研究报告是否结构完整、透明，包含所有必要要素

缺失关键部分（如研究局限性、利益冲突声明、数据来源描述）；报告内容混乱，关键信息难以查找，不通过则退回，不进入扣分环节