引自免费微信小程序:皆我百晓生
在 Voxelmorph 论文中,作者展示了如何通过神经网络进行医学图像的配准(registration)。在 Fig. 6 中,他们展示了在无监督实验中,将移动图像(moving image)与固定图像(fixed image)进行配准后得到的变形场(deformation field)。
变形场是一个三维的空间映射,它描述了每个像素点从原始位置到目标位置的位移。对于每一个像素,这个位移通常由三个分量表示:x、y 和 z 方向上的位移。在 Voxelmorph 中,使用的变形场通常是非常平滑的,特别是在脑部区域,即使移动图像与固定图像有很大的差异。
为了可视化这些三维变形场,论文采用了颜色编码的方法。在 Fig. 6 的第四列中,每种颜色代表一个维度的位移:
- 红色通道对应 x 轴的位移
- 绿色通道对应 y 轴的位移
- 蓝色通道对应 z 轴的位移
因此,当您看到一个彩色的变形场时,实际上是在二维图像上呈现了三维空间中每个像素点的位移信息。例如,一个红色偏红的点可能意味着在 x 轴上有较大的正位移,绿色偏绿则可能意味着在 y 轴上有较大位移,而蓝色偏蓝则可能意味着在 z 轴上有较大位移。
至于第五列中的“warped volume”,它是根据第三列的变形场将移动图像拉伸或压缩的结果,显示的是经过变形后的移动图像在固定图像坐标系下的样子。
网格变形场(grid deformation field)本质上就是上述提到的三维变形场,只不过在这里更强调它是基于网格结构(即像素网格)的位移场。
在 Voxelmorph 框架中,网格变形场的生成通常涉及以下步骤:
- 使用卷积神经网络(CNN)训练模型,输入是固定图像和移动图像,输出是预测的变形场。
- 在训练过程中,损失函数(如均方误差 MSE)用于评估预测变形场的效果,网络通过反向传播优化其权重,以最小化这个损失。
- 当模型训练完成后,给定新的移动图像,可以通过前向传播得到相应的变形场。
- 应用这个变形场,将移动图像变形为与固定图像匹配的形状。
由于这是一个复杂的深度学习过程,涉及到的具体代码实现通常包含数据预处理、网络构建、训练和应用等部分,这里无法提供完整的代码,但您可以参考 Voxelmorph 的官方 GitHub 仓库(https://github.com/voxelmorph/voxelmorph),那里提供了详细的代码示例和教程。如果您需要具体的代码片段或帮助理解某一部分,我会很乐意提供进一步的帮助。
