X射线成像和深度学习的交叉融合.docxVIP

X射线成像和深度学习的交叉融合

摘要：作为人工智能（artificialintelligence，AI）的主流，深度学习在计算机视觉、图像多尺度特征提取领域已有所进展。2016年以来，深度学习方法在计算机断层成像（从积分特性，如线积分，实现内部结构的图像重建）方面也取得了进步。总体而言，在人工智能领域，尤其是基于人工智能的成像领域，令人兴奋的前景和挑战并存，包括准确性、鲁棒性、泛化性、可解释性等一系列问题。基于2021年8月2日SPIEOptics+Photonics上的大会邀请报告，本文介绍X射线成像和深度学习的背景，低剂量CT、稀疏数据CT、深度影像组学的代表性成果，讨论对于X射线CT、其他成像模式以及多模态成像而言，数据驱动和模型驱动方法融合带来的机会，以期显著促进精准医疗的进步。

关键词：深度学习；机器学习；人工智能；生物医学成像；X射线成像；CT；多模态成像

1引言

自1895年伦琴发现X射线以来（1901年获诺贝尔奖），X射线成像领域一直在稳步发展。Hounsfield和Cormack在X射线断层成像领域方面开拓性的工作（1979年获诺贝尔奖）对医学领域而言极为重要。2009年，伦敦科学博物馆邀请馆长们从馆藏中选出十件最重要的物品，然后邀请公众从中选出一件最有影响力的发明，X射线成像获得了5万投票中的9581票，排名第一[1]。如今，X射线摄影和断层成像技术已经应用于各种场景，成像分辨率和视野大小跨越6个数量级，包括了不同的成像模态，例如衰减、光子计数、相衬、暗场成像，以及圆轨道、螺旋轨道、机械臂扫描。生物医学成像是其最重要的应用领域。过去几年里，深度学习在一些领域已经取得了成功，包括生物医学成像，尤其是X射线断层成像[2-5]。

Kuhn在他的著作《科学革命的结构》中提出科学的进步是通过范式转移实现的。4种基本科学范式分别是：经验科学（描述自然现象）、理论科学（归纳和建立模型）、计算科学（模拟现象和过程）和数据驱动科学（通过深度网络和高性能计算技术从大数据中提取知识）。目前，我们正处在第4种科学范式阶段，也被称为数据科学、人工智能、机器学习和深度学习。

让我们首先回顾一下深度学习的概念（图1）。深度学习是指利用深度人工神经网络进行机器学习，虽然人工神经网络有很多，但它们的构建模块都是简单的人工神经元。人工神经元是生物神经元的模型，在人工神经元中，很多输入信号分别被加权和相加，这个过程是一种内积形式的线性运算。内积通过阈值或非线性激活函数来决定神经元是否应该被激活，也即它应该取大值还是小值。有多种激活函数，如SigmoidS(x)=1/(1+e-x)，值域为（0,1），以及ReLUR(x)=max(0,x)。前馈网络是一种常见的网络结构，其中有输入层、输出层以及两者之间的隐藏层。输入向量被逐层处理（一层的输出作为下一层的输入），最后输出层给出结果。除了前馈网络，还有许多其他类型的结构可以使用。粗略来说，深度网络包含许多隐藏层，便于多尺度分析和知识表达（图1）。

…Forwardcomputaioutput:1xx

…

Forwardcomputaion

1

2

3

4

5

6

7

8

Output:1

xx

x

Input

y

Label:5

Output

BackwardCorrection

Error:4

Linearw

w

wInner

w

Inner

Nonlinear

9

图1深度学习的基本思想。神经网络由相互连接的神经元组成，每个神经元先执行线性

计算（内积），再执行非线性运算（阈值化，如ReLU）。神经元之间的权重参数被随机初始化，并通过使用训练数据迭代更新以期损失函数最小化（例如上图迭代中显示为“4”的绝对误差），最终输出正确答案（在本例中为“5”）

图1中的前馈网络只包含一个隐藏层，但它在数字识别方面已经做得很好了（给定一个手写数字的图像，网络可以识别它）。输入是一个矢量化的数字图像，输出层是所谓的“独热编码”，即有且只有一个元素将被激发到高于其他元素值的状态，且这个被激活的元素/神经元就代表输入数字的值（在独热编码中，每个数字被分配给唯一的神经元）。最初，网络的参数是随机初始化的。对于给定的输入图像，可以计算隐含层的输出结果以及网络的输出向量。通常，这个输出不太可能和我们想要的结果完全匹配，但我们可以通过反向传播方式的梯度下降法调整当前的权重参数，以减小误差。如果有许多隐藏层，上述前向计算和反向传播过程也是类似的。

目前，已经有很多流行的深