强化学习在针刺临床研究中的潜在应用、挑战与展望.pdfVIP

世界科学技术中医药现代化★封面文章

强化学习在针刺临床研究中的潜在应用、

挑战与展望*

2**

陈晨12，曾婧纯，陆丽明

（1.江苏医药职业学院中医药学院224001；2.广州中医药大学华南针灸研究中心临床研究与大数据实验室

盐城

510006；3.广州中医药大学第一附属医院

广州芜广州510006)

摘要：随着人工智能的快速发展，机器学习目前已被广泛应用于针刺临床研究当中。但相较于监督

学习和无监督学习的大量应用，强化学习在针刺临床研究领域的尝试仍然相对有限。本文简要介绍了强化

学习的概念及运作流程，以及与监督学习和无监督学习的区别。接着探讨了强化学习在针刺临床研究中的

应用前景，同时总结了在应用强化学习过程中可能遇到的困难与挑战，并初步讨论了解决这些问题的方案。

最后对强化学习与针刺临床研究相结合进行了展望，以期为强化学习在针刺临床研究与临床实践中的开展

提供一定借鉴意义。

关键词：强化学习临床研究

针刺展望

D0I:10.11842/wst.20240611004CSTR:32150.14.wst.20240611004中图分类号：R245文献标识码：A

近十年来，机器学习在医学临床研究领域开启了用强化学习来解决这些难题。

一个利用大数据和算法解决研究中各种复杂难题的强化学习是除监督学习和无监督学习之外的第

新时代。在针灸学领域，也有越来越多的学者开始将三种基本机器学习方法（见图1）。强化学习特别适合

机器学习引人到针刺临床研究当中。然而，绝大部分

与针刺临床研究相结合的机器学习模型都集中在“监

督学习”及“无监督学习”这两种形式上。前者的特点

监督学习无监督学习

是算法被赋予特定任务，并且需要人为对训练数据进·需要标记输入输出数据·无需标记输入输出数据

·单一决策，任务明确·探索数据内在结构与关联

行集中标记。例如，用“监督学习”建立针刺疗效预测

模型时，需要人工事先对训练数据进行有效、显效、无带标记无标记

数据数据

效的疗效标记。后者则在数据挖掘的情境中具有显

强化学习

著优势，如挖掘选穴处方时，用“无监督学习”对选穴·环境交互

·奖励驱动

数据进行降维和聚类2。然而，针刺临床研究过程中·顺序决策

·自我优化

产生的数据往往体量庞大，关系复杂，且针刺临床实

践过程中，通常需要医者根据实时的医疗信息和患者

图1强化学习、监督学习与无监督学习

反馈做出相应的治疗决策。为此，研究人员开始寻求

收稿日期：2024-06-11

修回日期：2024-08-20

国家自然科学基金面