Deep Learning for Low-Frequency Extrapolation of Multicomponent Data in Elastic FWI

• DOI: 10.1109/TGRS.2021.3135790

• FWI的成功强依赖于一个准确的初始模型，在弹性体制下尤为重要——由于S-波波长较短，弹性FWI中的周期跳跃现象比声波FWI更严重。本文中，作者通过提出合成多分量弹性低频地震记录，并将这些“人工” 低频数据作为弹性FWI的频率扫描种子，进一步扩展了外推弹性FWI的工作。作者的方案包含深度学习——可以在两个训练数据集上训练同一个卷积神经网络（CNN），一个是粒子速度的垂直分量，另一个是水平分量，或将两个分量放在一起训练，以推断2D 弹性 FWI的低频弹性数据。CNN架构通过空洞卷积获得大感受野。在Marmousi2上的实验表明从$4$ Hz 以上的带限（band-limited）数据推断出的 $2-4$ Hz 低频数据为P波和S波速度的弹性 FWI 提供了良好的初始模型。 此外，我们还研究了网络从声波数据到弹性数据的泛化能力，在弹性测试数据上， 通过弹性模拟收集训练数据集比声学模拟显示出更好的外推精度，即更小的泛化差距。

Overcoming catastrophic forgetting in neural networks

• arxiv: 1612.00796

• 序列化的学习方法对AI发展至关重要。而目前连接型的神经网络存在灾难性遗忘问题，本文提出一种方式可以克服这个问题，使得训练的网络能够长时间保存知识。该方法通过选择性地减缓任务的重要程度来记住旧任务。通过MNIST数据集的分类任务和Atari 2600游戏任务实验证明了该方法是可扩展和有效的。

Identity Mappings in Deep Residual Networks

• DOI: 10.1007/978-3-319-46493-0_38

• 深度残差网络表现出很好的分类准确率，该文是作者在原始ResNet的基础上分析了残差块背后的数学原理。

残差块

Deep-learning seismic full-waveform inversion for realistic structural models

• DOI: 10.1190/geo2019-0435.1

• 传统方法需要初始模型且计算量大，该文使用共炮点集合和共检波器集合进行特征提取，并进一步反演获得速度模型。

Mapping full seismic waveforms to vertical velocity profiles by deep learning

• DOI: 10.1190/geo2019-0473.1

• 传统方法大多尝试将完整数据映射为二维标签，这在处理复杂地下结构时存在局限性。该文利用CNNs学习共中心点道集（CMP）数据道一维速度记录的映射。

Pyramid Scene Parsing Network

• 原文地址：Pyramid Scene Parsing Network

• 这是一种基于整合全局上下文信息的金字塔池化模块的网络架构，根据全局先验信息能够有效地进行图像分割。

金字塔池化

• 在深度神经网络中，感受野的大小决定了使用上下文信息的能力。常用的池化例如全局平均池化（GAP）利用全局信息进行池化，但在复杂场景下表现并不好，作者希望能够有一个基于子区域的全局上下文信息表示，于是提出了金字塔池化的概念。

  在金字塔池化模块中，特征图先经过池化操作（使用自适应平均池化）进行下采样，再进行上采样（使用二次线性差值）得到新的特征图并与原特征图拼接。

  同时金字塔池化融合了四个比例的特征（默认是[1, 2, 3, 6]）。

扩散模型（Diffusion model）

• GAN的本质是将生成器的分布逼近真实分布。VAE则是训练两个分布$q, p$分别表示从真实数据到噪声和噪声到生成数据的映射。

  扩散模型和VAE类似，也是一套从真实数据到噪声的分布以及噪声到生成数据的分布，但是在扩散模型中将这个过程分成了$T$步。

  扩散模型包含两个部分：扩散和和逆扩散过程。

地震波阻抗反演实验

准备工作

数据集

• 我选用Convolutional neural network for seismic impedance inversion中的数据，其中包含2020道一维地震波以及波阻抗数据。

  正演参数为频率为30Hz的雷克子波，$\Delta t = 4.3875e-4$。图1中为数据集中的4道数据展示，其中波阻抗数据已进行缩放。

• 随后将这些数据集划分为500个验证集、500个测试集和1020个训练集。

InversionNet: An Efficient and Accurate Data-Driven Full Waveform Inversion

• DOI: 10.1109/TCI.2019.2956866

• 传统的FWI很贵且效率不高，本文提出了一种深度学习反演方法，利用神经网络（CNN）学习和预测地震速度和地下结构的关系构建地震速度模型。

全卷积网络（FCN）

• 在CNN中，通过卷积的引入能够很好的对图片进行分类，但是如何识别图片中的物体依然是一个难题。CNN会在卷积层之后接入若干全连接层，将卷积层产生的特征图映射为固定长度的特征向量进行输出，每个值代表样本属于某个类别的概率。

  全卷积网络（Fully Convolutional Nerworks，FCN）则是抛弃最终的全连接层，直接对图像进行像素级的分类，在FCN中将引入反卷积层将对卷积层的输出进行采样恢复为输入图像的大小，从而对每个像素产生一个预测值，最后逐个像素计算softmax分类损失获取最终分类预测。