Accelerating Full Waveform Inversion By Transfer Learning
Accelerating Full Waveform Inversion By Transfer Learning
全波形反演（FWI）是一种强大的工具，能够基于波传播获得的稀疏测量数据来重建物质场。对于特定问题，使用神经网络（NN）对物质场进行离散化可以提高相应优化问题的鲁棒性和重建质量。本文将这种方法称为基于神经网络的FWI。从初始预测开始，迭代更新神经网络的权重，以使模拟的波形信号与稀疏测量数据集相拟合。对于基于梯度的优化，选择合适的初始预测（即合适的神经网络权重初始化）对于实现快速且稳健的收敛至关重要。
本文提出了一种新颖的迁移学习方法，以进一步改进基于神经网络的FWI。该方法利用监督预训练来提供更好的神经网络权重初始化，从而加快后续优化问题的收敛速度。此外，反演结果还能得到物理上更有意义的局部最小值。网络被预训练以使用传统FWI第一次迭代中的梯度信息来预测未知的物质场。在二维域计算实验中，训练数据集由具有任意位置、不同形状和方向的椭圆形空洞的参考模拟组成。
本文将所提出的迁移学习基于神经网络的FWI与另外三种方法进行了性能比较：传统FWI、未进行预训练的基于神经网络的FWI，以及使用预训练神经网络预测的初始猜测的传统FWI。结果表明，迁移学习基于神经网络的FWI在收敛速度和重建质量方面均优于其他方法。
Methodology
Physical model
- 这里介绍了波动方程。
Numerical configuration
- 这里介绍了有限差分正演。
Conventional FWI
- 这里介绍的是传统FWI通过最小化预测模型的正演结果和真实地震数据残差。
NN-based FWI
Hybrid gradient computation
- 这里介绍的无监督的生产式神经网络训练，输入为噪声，输出为密度模型，通过最小化预测模型的正演结果和真实地震数据残差来更新网络。
Transfer learning NN-based FWI
基于迁移学习的网络使用预训练的U-Net来进一步提升网络性能。
预训练使用传统FWI第一次迭代的伴随梯度作为输入，真实密度作为输出进行训练。随后预训练网络再通过最小化预测模型的正演结果和真实地震数据残差来更新网络。
Conventional FWI with initial guess
- 为了比较，本文还测试了使用预训练网络的预测作为初始模型的FWI。
Importance of NN initialization
神经网络的权重初始化对于实现快速收敛和良好精度非常重要。使用随机权重进行初始化是常见的做法，可以避免了消失梯度问题，但并不是FWI的最佳起点，因为随机权重会导致图5左上角所示的噪声初始化模式。相反，预期的结果是，除了局部局限的缺陷外，材料几乎在所有地方都没有损坏。通过使用具有0.01的窄标准偏差的标准正态分布额外初始化最后一层的权重，并设置相当高的偏差（例如3），可以提供对未损坏材料的近似值。这消除了密度缩放函数初始化过程中的大部分噪声，并为基于NN的FWI提供了更好的起点。作为最后一步，sigmoid函数将值映射到0到1之间的范围。此外，设置最后一层的权重会使该方法对权重初始化的依赖性降低。图5显示了权重初始化对35次迭代内损伤案例重建的影响。这种权重初始化用于基于神经网络的FWI的生成器网络（图2）以及用于基于神经网的FWI迁移学习的U-Net（图3）。在基于迁移学习神经网络的FWI的情况下，在预训练期间以这种方式初始化最后一层的权重，这提高了训练过程的收敛性。
图5
Results and discussion
Damage cases
- 本文使用了四个案例比较四种方法：传统FWI，未训练的NN-FWI，预训练网络作为初始模型的传统FWI和迁移学习NN-FWI。
Case 1
图7 对于这个例子，传统FWI在10-15次迭代内恢复了模型，但是重建过程中出现了伪影。 未训练NN-FWI在10次迭代内得到良好的重建精度且没有出现伪影。 预训练传统FWI和预期一样，好的初始模型可以改善伴随方法的重建过程，能够更快的重建模型。 迁移学习NN-FWI在5次迭代内就能准确重建损伤形状，表现最佳。
Case 2
图8 传统FWI在20-25次迭代内恢复了模型，但是矩形区域中出现了伪影。 未训练NN-FWI在20次迭代内得到良好的重建精度且没有出现伪影。 预训练传统FWI和预期一样，好的初始模型可以改善伴随方法的重建过程，能够更快的重建模型。 迁移学习NN-FWI在10次迭代内就能准确重建损伤形状，表现最佳。
Case 3
图9 同上
Case 4: Is transfer learning NN-based FWI always the best?
图10 但是迁移学习不总是最优
传统的FWI可以部分恢复矩形损伤和侧面的一个孔。矩形损伤后的圆孔未恢复。基于神经网络的FWI仅使用25-30次迭代即可快速重建整个受损区域，以提供高精度。预训练网络+传统FWI虽然初始模型是不准确的。但对于矩形损伤，恢复的损伤部分准确。两侧的圆孔也被部分修复。对于基于传递学习神经网络的FWI，该方法只能恢复矩形损伤的形状，而忽略了所有其他损伤。在增加迭代总数后，观察到它可以在55次迭代后恢复两侧的圆孔。尽管如此，在100次迭代后，它仍无法恢复两个相交的矩形损伤，其中三个圆孔彼此后面，半径逐渐减小。这是为数不多的破坏重建不令人满意的案例之一。然而，在这种情况下，没有预训练的基于神经网络的FWI表现最佳，清楚地表明了使用神经网络对材料场进行离散化的优势。