【深度学习】面向医学图像的病灶分割调研(一)

【深度学习】面向医学图像的病灶分割调研(一)

文章目录 1. 研究背景 2. 所选论文介绍 3. 论文分析 3.1 《Modified U-Net (mU-Net) With Incorporation of Object-Dependent High Level Features for Improved Liver and Liver-Tumor Segmentation in CT Images》 4 参考 1. 研究背景

医学图像分割是医学图像定量分析的关键步骤之一, 因此病灶分割对临床诊断有重要意义。针对传统分割方法中存在的过多依赖医学领域的先验知识和人为评估错误等问题, 提出了基于深度学习的病灶分割方法。 深度学习在各个科学领域都带来了巨大的影响。在计算机视觉领域，这方面的研究是当前最重要的方向之一：医学图像分析（或医学计算机视觉），尤其是基于深度学习方法的医学图像分割。在医学图像分析中，图像分割是一个重要的处理步骤，它可以帮助进行以图像为指引的医学干预、放射疗法或是更有效的放射科诊断等。图像分割的正式定义是“把一个图像划分为无重合的几个区域，这几个区域的并集是整个图像”[1]。在面向各种不同的医学图像模型的文献中，已有非常大量的面向图像分割的深度学习方法被介绍；这些医学图像模型包括X光影像、可见光图像、磁共振设备输出的图像（MRI）、计算机采集的断层图像（PET）、扫描得到的断层图像（CT）以及超声扫描得到的超声波医学图像。深度架构的提升是许多研究者出于不同研究目的而关注的重点，比如防止模型的梯度消失或是梯度爆炸，压缩模型使得其足够小又足够精准。另一些研究者试图通过引入新的优化函数来提升深度神经网络模型的性能。 病灶的检测是计算机辅助疾病诊断的关键步骤之一，即从图像中寻找病灶形状、大小和所处的具体位置。由于医学图像受噪声和成像质量的影响，图像灰度不均匀，不同病人的同类病灶形态特征差异很大。针对这些问题，深度学习方法通过建立大样本数据来提高病灶检测的准确率，提高辅助诊断的效果。目前，在深度学习中目标检测使用较多的网络是R-CNN[2]。R-CNN先用选择搜索的方法提取疑似病灶区域，然后采用深度神经网络提取病灶特征并分类，最后采用回归器进行位置修正。Faster R-CNN使用区域建议网络(Region Proposal Network, RPN) 取代了R-CNN中选择搜索方法，并把R-CNN中分类和位置修正放到同一个深度的网络中，提高了运行速度并减少空间占用[3]。 就上述问题，我对面向医学图像的病灶分割问题进行了调研，本研究的组织如下：第1节介绍了研究的背景；第2节对所选论文进行概述；第3节详细分析了所选论文的方法和结果；关于调研任务中的三个目标放在了第4、5、6节；第7节包括研究计划、讨论和总结。

2. 所选论文介绍

本篇综述选取的四篇文章均是与医学图像病灶分割有关的，Hyunseok Seo等修改基础的U-Net网络，在U-Net的跳跃连接中增加了一个带有反卷积和激活操作的残差路径，更好的分割出肝脏和肝脏肿瘤区域[1]。Isensee等基于nnU-Net框架进行改进，nnU-Net框架具有大量的前处理和后处理工作，改进后更好的胜任了脑肿瘤分割任务[2]。此外Isensee等人改进了3D U-Net框架，加入残差块，从SZCT图像中分割出SZ和S肿瘤成为冠军方案[3]。第四篇文章选择了以Transformer为基本结构的医学图像分割网络，在过去的几年中，卷积神经网络(CNN)在医学图像分析中取得了里程碑式的进展。尤其是，基于U形架构和跳跃连接的深度神经网络已广泛应用于各种医学图像任务中。但是，尽管CNN取得了出色的性能，但是由于卷积操作的局限性，它无法很好地学习全局和远程语义信息交互。作者首次探索了使用3DCNN和Transformer进行MRI的脑部肿瘤分割，提出了一个基于编码和解码结构的新网络TransBTS[4]。这些文章对医学图像病灶区域分割的发展作出了巨大的贡献，是我们进行这方面研究的基础。

3. 论文分析

3.1 《Modified U-Net (mU-Net) With Incorporation of Object-Dependent High Level Features for Improved Liver and Liver-Tumor Segmentation in CT Images》

3.1.1 论文背景与研究动机 肝和肝肿瘤的分割是肝癌放射治疗的重要步骤之一，虽然已经提出了各种描述危险QG(OARs)和肿瘤目标的算法，但由于肝脏和肝脏肿瘤相对于周围QG的组织对比度较低，且在CT图像中形状可变，因此自动分割肝脏和肝肿瘤仍然难以实现。U-Net最近在图像分析任务中越来越受欢迎，并显示出了良好的结果。然而，传统的U-Net架构存在一些缺陷。针对这些问题，论文在U-Net的跳跃连接中增加了一个带有反卷积和激活操作的残差路径，以避免低分辨率特征信息的重复。在小目标输入的情况下，跳跃连接中的特征不与残留路径中的特征合并。此外，该体系结构在跳跃连接中有额外的卷积层，以提取小目标输入的高级全局特征以及大目标输入的高分辨率边缘信息的高级特征。改良的U-Net (mU-Net)的有效性通过2017年肝肿瘤分割(LiTS)挑战公共数据集进行了验证。mU-Net模型效果优于现有的最先进的网络。

3.1.2 论文实现方式 核心想法在于更改Skip connection，将一幅图的全局像素特征和细小目标（如边缘）分离。U-Net学习的高级特征图中缺少足够的高分辨率边缘特征信息，在Skip connection处直接将高分分辨率特征图传递，没有经过任何卷积层的学习，所以最后学出来的网络模型是无法对高分辨边缘信息进行有效映射的。论文在小目标检测上的操作如图3-1所示，通过阻塞反卷积，可以保持小目标的空间信息，使其能够传递到Skip connection。通过阻塞残差路径中反卷积层的特征来保持小目标信息，并在Skip connection中放置更多卷积层以提取更高级别的特征。

图3-1 修改U-Net网络中的跳跃连接(针对小目标，如病灶区域) 对于大目标，将 Skip connection 中传递的信息限制在边缘信息的传递，避免低分辨率信息的重复，如图3-2所示。

图3-2 修改U-Net网络中的跳跃连接(针对大目标，如肝脏区域) 网络的整体结构如图3-3所示，模型根据目标检测的大小自适应地将Residual path和Skip connection中的特征图连接起来。 图3-3 mU-Net网络结构 3.1.3 论文总结 过去我在改进U-Net网络的过程中，注意力更多放在了编码器的解码器的结构上，忽视了跳跃链接的作用。论文中修改了跳跃连接操作，添加卷积层提取目标边缘信息，基于目标大小自动提取信息，对大物体提取边缘信息，对小物体提取全局空间信息，更好的分割出了腹部肝脏（大目标）和肿瘤区域（小目标）。在肝脏分割方面，mU-Net取得的效果如表3-1所示。 表3-1 mU-Net和其他方法的量化对比(肝脏区域分割) 在肝脏肿瘤分割方面，mU-Net取得的效果如表3-2所示。 表3-2 mU-Net和其他方法的量化对比(肝脏肿瘤区域分割)

将分割出的切片数据还原，进行3D可视化的分割结果如图3-4所示，(e)为mU-Net的分割结果，(d)为金标准。 图3-4 mU-Net和其他方法的分割结果可视化对比

4 参考

[1]. Seo H, Huang C, Bassenne M, et al. Modified U-Net (mU-Net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images[J]. IEEE transactions on medical imaging, 2019, 39(5): 1316-1325. [2]. Isensee F, Maier-Hein K H. nnU-Net for Brain Tumor Segmentation[C]//Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries: 6th International Workshop, BrainLes 2020, Held in Conjunction with MICCAI 2020, Lima, Peru, October 4, 2020, Revised Selected Papers, Part II. Springer Nature, 2021, 12658: 118. [3]. Isensee F, Maier-Hein K H. An attempt at beating the 3D U-Net[J]. arXiv preprint arXiv:1908.02182, 2019.