2021-08-19-Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks(TMI 2019)-无代码

暂无公开代码

pGAN网络的实现https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

这篇文章是做什么的：跨模态MR图像合成

输入：单张图像/多张图像(体积内相邻横截面(neighboring cross-sections within a volume))

是否需要数据配准：需要/不需要

是基于2D还是3D: 2D/3D 具体看数据集描述部分

---文章的Motivation---

本文提出了一种基于条件生成对抗网络的多对比度MRI合成方法。所提出的方法通过对抗性损失保留高频细节；它通过对已配准registered的多对比度图像的像素级损失和对未配准图像的周期一致性损失进行约束，提高了合成性能。利用相邻截面的信息(neighboring cross-sections)进一步提高合成质量。

---方法发展过程---

给定M1（源域）中的对象图像b1，目的是准确估计M2（目标域）中相同对象b2的相应图像。根据他们如何解决这个问题，有两种主要方法：基于配准和基于强度变换的方法[3](registration-based and intensity-transformation-based methods)。

基于配准的方法首先分别在M1和M2中获取共同配准(co-registered)图像集a1和a2生成地图集(atlas)[4]。这些方法进一步假设来自不同对象的域内图像通过几何变换(geometric warp)相互关联。为了从b1合成b2，估计将a1转换为b1的变换，然后将该变换应用于a2。由于它们只依赖于几何变换，基于配准的方法在基础形态学(underlying morphology)方面存在跨对象差异[3]。例如，受试者和图谱(atlas)之间的病理学不一致(inconsistent pathology)可能导致失败。此外，即使在正常受试者中，域内配准的准确性也可能受到限制。

另一种方法是使用基于强度的方法，该方法不依赖于不同受试者解剖结构之间的严格几何关系[3]，[5]–[8]。多对比度MRI的一种强大方法是基于压缩传感框架( compressed sensing framework)，其中源图像b1中的每个patch表示为atlas图像a1中patch的稀疏线性组合[7]。然后将学习到的稀疏组合应用于从a2中的patch估计b2中的patch。为了改进跨域的patch匹配，还提出了使用多尺度patch和组织分割标签的生成模型[9]，[10]。最近的研究不是聚焦于线性模型，而是旨在学习更一般的非线性映射，这些映射以a1中的patch表示a2中的单个体素，然后根据这些映射从b1预测b2。非线性映射通过非线性回归[3]、[5]、[6]或位置敏感神经网络(location-sensitive neural networks)[11]等在训练数据上学习。一个重要的例子是对多分辨率图像块执行随机森林回归的(Replica)[3]。Replica在多对比度MR图像合成中显示出巨大的前景。然而，在构建字典的过程中，不同空间尺度的patch是独立处理的，并且在合成过程中对来自不同随机森林树的预测进行平均。这些可能导致丢失高空间频率信息和次优合成性能。

最近，提出了一种基于深度神经网络的多模态端到端MRI图像合成框架[12]。Multimodal训练一个神经网络，该网络接收多个不同源对比度的输入图像，并预测目标对比度的图像。该方法在一个统一的框架中执行多分辨率字典构造和图像合成，并且与non-network-based方法相比，即使只有一部分源对比度可用，该方法也能产生更高的合成质量。也就是说，Multimodal假设空间配准的多对比度图像(spatially-registered multi-contrast images)可用。此外，多模使用均方误差或绝对误差损失函数，在高频下性能较差[13]–[15]。

本文提出了一种基于生成对抗网络（GAN）结构的多对比度MRI图像合成新方法。对抗性损失函数最近已被证明可用于图像到图像的转换，并可捕获高频纹理信息[16]，[17]。受这一成功的启发，我们提出的方法在源对比度给定输入图像的情况下，使用条件GANs合成目标对比度的图像。为了提高精度，所提出的方法在合成过程中利用了体积内相邻横截面(neighboring cross-sections within a volume)的相关信息。不同的实现用于两种不同的场景，其中多对比度图像在空间上配准（pGAN）和未配准（cGAN）。对于第一种情况，我们使用合成图像和真实图像之间的像素损失来训练pGAN[16]。对于第二种情况，我们在将像素损失替换为循环损失后训练cGAN，循环损失增强了从合成目标图像重建源图像的能力[17]。对健康正常人和胶质瘤患者(healthy normals and glioma patients)的多对比MRI图像（T1和T2加权）进行了广泛的评估。

---方法---

2.1 – Image synthesis via adversarial networks

传统的GANs学习从噪声中生成图像样本。然而，在图像到图像的转换中，合成图像在统计上依赖于源图像。为了更好地捕获这种依赖性，可以使用条件GAN接收源图像作为附加输入[21]。然后，可以根据以下对抗损失函数对生成的网络进行训练：

首先假设源对比度和目标对比度的图像完全配准。对于这种情况提出了pGAN，该pGAN受pix2pix体系结构[16]的启发，将像素级损失纳入目标函数中：

由于观察到生成器忽略pGAN中的潜在变量，因此使用以下总损失函数进行训练：

在第二个场景中，我们没有假设源图像和目标对比度图像之间存在配准。在这个更现实的场景中，无法利用像素损失，因为像素在对比度之间没有对齐。本文提出了cGAN，该cGAN受cycleGAN架构的启发，结合了循环一致性损失[17]。

此损失函数强制执行将源图像投影到目标域后，可以在投影损失最小的情况下重新合成源图像的属性。进一步将等式1中对抗性损失的负对数似然成本替换为平方损失[22](Further replacing the  negative log-likelihood cost for adversarial loss in Eq. 1 by a squared loss [22])：

2.2 – MRI datasets

对于配准图像，我们训练并测试pGAN和cGAN模型。对于未配准的图像，我们只训练cGAN模型。实验在三个独立的数据集上进行：MIDAS数据集[23]，IXI数据集(http://brain-development.org/ixi-dataset/)还有BRATS数据集(https://sites.google.com/site/braintumorsegmentation/home/brats2015). MIDAS和IXI数据集主要包含来自健康受试者的数据，而BRATS数据集包含来自结构异常（即脑肿瘤）患者的数据。关于每个数据集中包含的图像的协议信息如下所述。数据集被标准化，以确保受试者的体素强度范围具有可比性。对于每个对比，每个受试者的大脑体积(volume)平均强度标准化为1。为了获得[01 ]中的强度标度，在受试者之间汇集的体素平均强度之上的三个标准偏差被映射为1。the mean intensity across the brain volume was  normalized to 1 within individual subjects. To attain an intensity scale in [0 1], three standard deviations  above the mean intensity of voxels pooled across subjects was then mapped to 1.

2.3 – Image registration

对于第一种情况，假设来自给定对象的多对比度图像被配准。MIDAS和IXI数据集中包含的图像是未配准的。因此，这些数据集中的T1和T2加权图像是在网络训练之前配准的。对于MIDAS数据集，基于互信息使用仿射变换(affine transformation)进行配准。对于IXI数据集，基于互信息的刚性转换(rigid transformation)。BRATS数据集不需要配准。未对第二个场景执行任何配准。所有配准均使用FSL软件包[24]，[25]执行。

2.4 – Network training

在第一个场景中，我们假设源图像和目标图像之间完全对齐，然后使用pGAN学习从源到目标对比度的映射。在pGAN的第一个变体中，输入图像是源对比度的单个横截面(single cross-section)，而目标是所需对比度的各个横截面。请注意，MR图像中的相邻横截面将显示出显著的相关性。因此，我们推断，在源对比度中加入来自相邻横截面的附加信息应该可以改进合成。为此，实施了pGAN的第二种变体，其中源对比度的多个连续横截面作为输入，目标对应于中心横截面处的期望对比度。据观察，使用三个横截面可产生接近最佳的结果，而不会显著增加模型的复杂性。因此，第二个变体的实现基于此后的三个横截面。

pGAN网络的实现https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix使用基于256x256图像。因此，在训练之前，所有MR图像在图像域中被零填充到该大小。我们采用了[26]中的生成器架构，以及[13]中的鉴别器架构。训练过程持续了200个epoch，Adam优化器的最小批量为1[27]

在第二个场景中，我们没有假设源图像和目标图像之间存在任何对齐，因此我们使用cGAN来学习未配准的源图像和目标图像之间的映射。与pGAN类似，cGAN的两种变体被认为在单个横截面和三个连续横截面上起作用。实施cGAN的后一种变体时，源对比度的多个连续横截面作为输入，目标对比度的相同数量的连续横截面作为输出。虽然cGAN不假设源域和目标域之间存在任何对齐，但我们仍然希望定量检查cGAN和pGAN中使用的不同损失函数的影响。为了进行比较，我们还针对配准的多对比度数据（cGANreg）训练了单独的cGAN网络。训练程序与pGAN相同。

2.5 – Competing methods

第一种方法是Replica，它估计从源对比度到目标对比度的单个体素的图像块之间的非线性映射[3]。Replica提取不同空间尺度的图像特征，然后通过随机森林进行多分辨率分析。然后将学习到的非线性映射应用于测试图像。根据[3]中描述的参数，使用Replica方法作者发布的代码来训练模型。

第二种方法是Multimodal，即在给定源图像作为输入的情况下，使用端到端神经网络来估计目标图像。神经网络实现隐式执行基于这些特征的多分辨率特征提取和合成。经过训练的网络可以应用于测试图像。根据[12]中描述的参数，使用Multimodal作者发布的代码对网络进行训练。

为了比较所提出的方法和竞争方法，使用了相同的训练和测试数据集。由于所提出的模型是针对两个独立对比度之间的单峰映射(unimodal mapping)实现的，因此Replica和 Multimodal的实现也仅在两个对比度下执行。

2.6 - Experiments

首先考虑多对比度图像之间的配准方向是否会影响合成质量。特别是，我们从T1和T2加权图像生成了多个配准数据集。在第一组中，T2加权图像被配准到T1加权图像上（产生T2*）。在第二组中，T1加权图像被配准到T2加权图像上（产生T1*）。除了配准的方向外，我们还考虑了两个可能的合成方向（T2 from T1; T1 from T2）。

对于最初未配准的数据集（即MIDAS和IXI），上述考虑导致了四种不同的情况：a）T1→T2*，b）T1*→T2，c）T2→T1*，d）T2*→T1。这里，T1和T2是未配准的图像，T1*和T2*是配准的图像，并且→ 对应于合成的方向。对于每种情况，pGAN和cGAN网络基于两种变体进行训练，一种接收单个横截面作为输入，另一种接收三个连续横截面作为输入。这导致总共有8个pGAN（一种变体四个，两个变体就是8个）和4个cGAN模型（不需要配准，只考虑两种合成方向，一种变体两个，两种变体四个）。对于BRAT不需要配准，这导致只需要考虑两种不同的情况：a）T1→T2*和d）T2*→T1。pGAN和cGAN的两种变体被认为在单横截面和三横截面上工作。

将合成图像和参考图像归一化为最大强度1。为了评估合成质量，我们测量了合成图像和参考图像之间的峰值信噪比（PSNR）和结构相似性指数（SSIM）度量。在NVIDIA Titan X Pascal和Xp GPU上进行神经网络训练和评估。pGAN和cGAN的实现是使用Pytorch框架在Python中实现的[29]。REPLICA MATLAB实现，以及带有Theano后端的Multimodal  Keras实现[30]。

3 – Results

这些改进可归因于与成对配准图像上的循环一致性损失相比，像素级损失的好处。虽然cGANunreg是在未配准的图像上训练的，但它可以捕获合成对比度中的细粒度结构。

输入到网络的源对比度图像有时可能包含相当大的噪声水平。在这种情况下，可以通过在相邻横截面上合并相关结构信息来提高合成质量。

与处理成对图像的pGAN不同，cGAN中的鉴别器处理来自源域和目标域的未成对图像。反过来，这会降低跨横截面合并相关信息的效率。

4 – Discussion

comparisons between the two directions based on reference-based metrics are not informative because the references for the two directions are inevitably distinct (e.g., T2* versus T2), so determining the optimal direction of registration is challenging. 基于参考的度量的两个方向之间的比较不是信息性的，因为两个方向的参考不可避免地是不同的（例如，T2*与T2），因此确定最佳配准方向具有挑战性。

在源和目标对比度中的体素大小严重不匹配的情况下，cGAN方法不仅将学习合成，还将尝试学习从源的空间采样网格插值到目标的空间采样网格。为了减少潜在的性能损失，可以首先通过多模态配准来估计源图像和目标图像之间的空间变换。然后可以将该插值函数级联到cGAN体系结构的输出。

关于基于神经网络的方法，一个重要的关注点是大数据集的可用性，用于成功地训练网络参数。cGAN方法通过允许使用未配准和配准的多对比度数据集来促进网络训练。在这里，我们对成对图像进行训练，以进行无偏比较，而cGAN允许使用来自不同受试者组的未配对图像。因此，它可以简化大型数据集的编译，这些数据集是通过更深入的网络提高性能所必需的。然而，通过基于成对和非成对训练数据的混合训练网络，进一步的性能改进是可行的[35]。

5 – Conclusion

本文出了一种新的基于条件生成对抗网络的多对比度MRI合成方法。与大多数传统方法不同，该方法对GANs进行端到端训练，GANs在给定源对比度图像的情况下合成目标对比度。对抗损失函数的使用提高了目标对比度中高频信息合成的准确性。通过在已配准图像的情况下合并像素级损失，以及在未配准图像的情况下合并周期一致性损失，合成性能得到进一步提高。最后，所提出的方法利用了每个体积内相邻横截面的信息来提高合成精度。在健康受试者和胶质瘤患者的多对比度脑MRI数据集中，该方法优于两种最先进的合成方法。