科普专栏 > 人工智能与医学图像

医学图像是反映人体内部器官和组织结构的图像，是医生做出临床诊断的重要依据之一，目前，医学图像处理任务主要集中在图像分类、图像分割以及图像三维重建等方面。而作为医学图像处理中最重要研究方向之一的医学图像分割，其一般过程是根据区域间的相似或不同，把图像分割成若干区域。早期的医学图像分割方法主要聚焦于基于阈值优化(Optimum Thresholding)方法，基于统计形状模型(Statistical Shape Models)方法，以及机器学习方法。近年来，由于基于深度学习的医学图像方法的效果普遍优于之前的方法因而成为研究人员普遍采用的主流方法。

扩大模型的规模是提高特征表示质量的重要策略，在计算机视觉领域，模型参数量的扩大不仅能够有效加强深度模型的表征学习能力，而且能够实现从海量数据中进行学习和知识获取。深度学习的常用特征提取器CNN虽然可以较好地获取局部特征信息，但是仍然存在全局上下文获取能力不够强等缺陷，近年来大规模视觉Transformer的蓬勃发展推动了计算机视觉领域的性能边界。从算子层面看，传统的CNNs算子缺乏长距离依赖和自适应空间聚合能力，而Transformer不借助卷积方法中的空洞卷积和FPN等结构，而是将图像划分为固定大小的图像块（Patch），使用Linear projection将Patch flatten投影到指定维度，得到Tokens序列，将序列作为特征的输入。简而言之，视觉Transformer的多头注意力机制具有长距离依赖和自适应空间聚合能力，受益于此，视觉Transformer可以从海量数据中学到比CNN网络更加强大和鲁棒的表征。从模型架构层面来看，除了多头注意力机制，视觉Transformer拥有CNN网络不具有的更加先进的模块，例如Layer Normalization (LN)，前馈神经网络FFN, GELU等。因此，借助Transformer模块来实现长距离特征依赖的构建，提升对复杂目标的分割效果，在近期成为一个热门的研究方向。

针对上述技术问题来自纽约州立大学布法罗分校、重庆邮电大学等机构的研究人员创新地提出了一个基于卷积神经网络的混合特征提取网络，称为Trans-CNN，所提出的网络不仅可以利用Transformer构建全局上下文信息的能力，还可以利用CNN获取局部特征信息的能力。

Trans-CNN通过减少传统CNN的严格归纳偏置实现了从海量数据中学习到更强大、更稳健的大规模参数模式。其有效性在包括图像分类、目标检测和语义分割等视觉任务上得到了验证。并在BraTS2018和the cardiac segmentation dataset in the medical segmentation在内的挑战性基准数据集中取得了具有竞争力的效果，在同参数量水平的情况下，超过了视觉Transformer结构，为图像大模型提供了新的方向。

Trans-CNN包括语义分割网络、混合网络和纹理统计提取模块。如图1所示，提出的语义分割网络将CNN和Transformer集成到特征提取网络中，设计了用于多维统计特征提取和融合的纹理统计提取模块（TSEM）。

所提出的混合特征提取网络旨在利用CNN和Transformer的优势来实现更精确的分割任务。

最开始是Stem层，CNN和Transformer在其余四个阶段交替出现。在每个阶段的开始，应用下采样以减小特征图大小并增加通道数量。具体来说，作为第一阶段的stem包含两层简单的3×3卷积。CNNs阶段是第二阶段，因为此时特征图太大，不适合在全局特征提取中使用Transformer。CNNs阶段使用横向可分离卷积块(DSConv)来减少模型参数的数量和大小。DSConv前后有一个1×1卷积层，用于改变特征图的大小和通道数量。第三个阶段是Transformer阶段，它在CNN之后提取全局特征。

为了减少冗余信息，混合网络使用步长为k的k×k深度卷积来减少K、

在随后的第四和第五阶段中重复第二和第三阶段中的CNN和Transformer操作。此外，每个阶段重复L次。混合网络的阶段1至阶段5分别重复2、2、4、2和8次。

图像纹理信息包含局部结构特征和全局统计特性。对于可视化较差的图像，全局统计特征更适合分割。为了有效地利用统计图像特征，提出了一种纹理统计提取模块（TSEM）。TSEM通过编码特征图来提取统计图像特征。

将CNN和Transformer相结合的医学图像分割方法同时具有了局部信息的抽取能力和全局依赖的捕获能力，另一方面，设计了不同于卷积通道融合的一种新的特征融合策略，借助全局池化，将不同阶段的Transformer和CNN融合模块提取到的特征进行信息的交互，并借助注意力机制进行特征的优化，实现了不同尺度的Trans-CNN模块之间的信息交流和互补。最后，在模型的解码阶段，将不同阶段的侧输出进行融合，充分利用每个尺度的分割结果来共同促进最终的分割结果的提升，改善了分割结果的细节。对比实验结果表明，所提出的医学图像分割方法在脑肿瘤和心脏分割方面取得了良好的效果，值得后续进一步研究。