【文献学习】Analysis of Deep Complex-Valued Convolutional Neural Networks for MRI Reconstruction

作者提供TensorFlow复数模型源码https://github.com/MRSRL/complex-networks-release

1 简介和创新点

MRI (Magnetic resonance imaging)核磁共振图像 利用复数神经网络代替实数神经网络实现核磁共振图像重建，以加快扫描时间，并确定各种有前途的复值激活函数的性能。 以往的处理复数是把实数和复数分为两条通道，但是这样做会丢弃数据的某些复数代数结构，并且在数据在整个网络中移动时并不一定要保持数据的相位信息。 当前解决图像重建的的神经网络有GAN、ADMM-Net、MoDL、U-Nets、AutoMap 复数的优越性 • 《Deep complex networks》通过使用复值卷积，减少了每个模型中的参数数量。这减少了网络占用的内存，可学习的参数数量和训练时间。 • 《Associative Long Short-Term Memory》中，提出了复数权重根在内存访问体系结构中更稳定且在数值上更有效。使网络具有更丰富的表示能力。 评价标准

2 模型 2.1 复数激活函数

2.2 系统模型

作者提出了两个模型作为对比实验，第一个是基于展开式优化的，该优化基于迭代软收缩算法。包括两个模块，一个是数据一致性模块和去噪模块。

• 数据一致性模块：使用MRI模型强制与物理测量的k空间样本保持数据一致性
• 去噪模块：使用残差结构块进行去噪输入图像以产生输出图像.除最后一个卷积层外，每个卷积层后都有一个ReLU和一个复数值激活函数

第二个是U-Net。该网络使用卷积和反卷积来捕获信息。每个橙色框都表示了一个多通道特征图。

• 红色箭头是复数卷积，每个卷积后跟一个ReLU激活函数
• 蓝色箭头2x2最大池化，步长为2
• 最后一层绿色箭头的是一维卷积，作者的画图有误
• 黑色箭头是copy
• 经过本人的不确定分析，网络的输入是复数值，输出是二维图片的值

3 模型参数

L1 损失函数 Adam优化器 学习率0.001 U-Net的Batch-size =3 Unrolled Network的Batch-size = 2 50000epoch 实现框架：Tensorflow 评估标准：NRMSE归一化均方根误差、峰值信噪比PSNR、结构相似性指数SSIM NRMSE和PSNR是在复数值图像上评估的； 但是，仅在幅度图像上评估SSIM

4 实验分析

TensorFlow实现的复数工具包 https://github.com/MRSRL/complex-networks-release

4.1 激活函数分析

实验过程： 在展开网络中，实数网络的激活函数Relu，复数网络，对比了modRelU,CReLU,zReLu和cardioid，最佳激活函数CReLU 对于该实验，迭代次数和特征图的数量分别固定为4和256。 实值和复数网络被设计为具有几乎相同数量的参数。 实验结果：复数网络相对于实数网络能更好的保留相位信息，最佳激活函数时CReLu

4.2 网络宽度分析

实验过程： 在展开网络中,通过将迭代次数固定为4，同时改变每一层中的特征图的数量，来评估展开网络宽度对实数网络模型与复数网络模型的性能的影响 实验结果：同时保持每个模型的参数总数大致相同。 当使用复值卷积时，重构性能得到了显着提高。

• NRMSE：归一化均方根误差
• PSNR：峰值信噪比
• SSIM在: 结构相似性指数

4.3 网络深度分析

实验过程： 在展开网络中,通过训练实数网络和复数网络在每一层中进行2、4、8和12次迭代来改变网络的深度，分析两种网络的性能差异 实验结果：随着迭代次数的变化，特征图的数量是固定的，同时每个模型的参数总数保持大致相同。和实验类似的结果

4.4 网络结构分析

实验过程： 在U-Net网络上，使用复数搭建和实数搭建神经网络，分析在不同的结构上，复数神经网络是否有优势。 实验结果：通过分析图像，实值模型在相位图像的背景中引入了相位包裹错误，而复数网络模型和CS则没有。且复数网络的性能更佳。

4.5 实验结论

复值模型能够更准确地表示数据的复值性质。经过实验分析，复数框架能够轻松的适应其他网络架构，可以广泛应用到超声波，光学成像，雷达，语音和音乐领域 原因分析

• 通过在具有复值卷积层的模型中使用复值权重，可以使用更多特征图，以使参数数量与具有实值卷积层的模型中的参数数量相同。 这样可以提高重建精度
• 因为复值网络强制执行保留输入数据相位的结构，所以与实值网络的重构相位相比，复值网络的重构相位通常在视觉上更接近于地面实相(the phase of the ground truth)的相位。

5 疑问和思考

（1）网络模型的具体的输入输出，本人没有阅读明白，经过我的不确定分析，对于两个模型的理解如下

• 在展开模型中，数据一致性模块处理的复数信号到raw image生成的过程，然后再把带有噪声的图片放入ResNet 中去噪。神经网络实现的图片的去噪
• 在U-Net中，输入是复数值，输出是二维图片的数值 （2）提供的源码只是《DeepComplexNetwork》文献提供的源码的TensorFlow复现。对于基于ISTA算法的展开网络和U-Net还需要通过看其他文献了解这两个模型细节，U-Net模型来自《U-net: Convolutional networks for biomedical image segmentation》