《医学人工智能社会治理综合评价指南》编制说明.docx

《医学人工智能社会治理综合评价指南》（送审稿）编制说明

一、项目背景

（一）国内外相关情况简介

2017年7月8日，国务院印发了《新一代人工智能发展规划》，要求初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力。2018年10月，习近平总书记在十九届中央政治局第九次集体学习时明确指出：“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”2021年9月25日，《新一代人工智能伦理规范》发布，提出了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理要求，并提出了人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求。2022年3月20日，国务院办公厅印发《关于加强科技伦理治理的意见》，要求“进一步完善科技伦理体系，提升科技伦理治理能力，有效防控科技伦理风险，不断推动科技向善、造福人类”，将人工智能伦理纳入科技伦理的综合治理中。

随着人工智能技术的应用普及，人工智能技术滥用等问题不断出现，同时也带来了信息安全问题。2023年4月，美国斯坦福大学以人为本人工智能研究所（StanfordHAI）发布的《2023年人工智能指数报告》（ArtificialIntelligence

IndexReport2023）分析了人工智能的影响和年度趋势。报告发现，关于人工智能滥用的事件数量正在迅速上升。通过追踪人工智能道德滥用相关事件的人工智能算法和自动化事件和争议（AIAAIC）数据库，2012年至2022年间人工智能相关争议事件增加近26倍。针对各类人工智能问题，世界主要国家和地区陆续从安全性审查、技术禁用等角度出台相关监管措施以实现对人工智能的有效治理。

探索合理、有效的治理方案，实现人工智能健康有序发展已经成为全球重要课题。在第三届“一带一路”国际合作高峰论坛上，中国发布的《全球人工智能治理倡议》（下称《倡议》）赢得国际社会广泛赞誉。《倡议》站在构建人类命运共同体、维护全人类福祉的历史高度，就人工智能发展、安全、治理三个方面公平公正地提出建设性解决措施，为全球人工智能治理提供中国方案。2023年11月首届人工智能安全峰会在英国布莱奇利园举行并发布了《布莱奇利宣言》，美国、中国、日本、德国、印度等20多个国家的政府代表以及联合国、经合组织、国际电信联盟等多个国际组织的代表参会，28个国家和欧盟共同签署了《布莱奇利宣言》，同意通过国际合作，建立人工智能（AI）监管方法。

目前人工智能技术主要造成三类问题。一是信息安全问题。人工智能需要实时更新海量数据用于模型训练。当前，在个人隐私领域中，相关企业、平台尚未达成遵循知情同意原则的共识，存在越权使用现象。因此，用户如果缺乏相关意识，在使用人工智能技术时，很可能导致个人隐私数据泄

露。二是虚假信息问题。尽管技术中立，但认为投放不实消息或片面事实可能会导致人工智能模型产出虚假信息，也就是“深度伪造”。三是数字鸿沟问题。人工智能具备高效的信息检索和整合能力，虽然为人们的工作和生活提供了极大方便，但其产出的真实性和准确性并不牢靠。因此，信息甄别、自主决策能力强的使用者将更善于使用这项工具，而盲从的使用者则可能为其所害。随着两者使用技术的差距不断沉积，数字鸿沟也就此加深。

人工智能技术在医学领域使用同样面临以上的治理问题外，还会面临人工智能技术带来卫生系统资源配置的深刻影响。然而，关于医学人工智能治理评价指标体系，业内一直高度关注，但尚未形成广泛一致的意见。截至2024年6月，深圳市地区尚未发布医学人工智能治理评价相关的指南文件。深圳市缺乏本地化的医学人工智能治理评价指标体系，各医疗卫生机构开展医学人工智能治理试验评价遵循的范式参差不齐，导致各级医疗机构间或区域内医学人工智能治理评价结果管理困难的实际境况，通过管控和治理发现医学人工智能可能带来的潜在风险尚未形成有效的监测与预警机制。

为了满足当前医学人工智能治理评价的标准需求，科学引导深圳市医学人工智能的研发与应用的同时，促进各类医疗机构及其他利益相关方组织共同参与医学人工智能治理活动的有序有效地开展，亟需形成医学人工智能治理评价指标体系，从安全、风险、效用、效率、效益的多元视角加强

医学人工智能的治理影响加以监测与管控。

（二）必要性和意义

深圳市响应国家《倡议》号召，为了更好推动医学人工智能应用的发展，在加强医疗人工智能治理能力的同时，亟需构建一套分类管理、综合评