• DOI: 10.1109/TGRS.2021.3135790

• FWI的成功强依赖于一个准确的初始模型，在弹性体制下尤为重要——由于S-波波长较短，弹性FWI中的周期跳跃现象比声波FWI更严重。本文中，作者通过提出合成多分量弹性低频地震记录，并将这些“人工” 低频数据作为弹性FWI的频率扫描种子，进一步扩展了外推弹性FWI的工作。作者的方案包含深度学习——可以在两个训练数据集上训练同一个卷积神经网络（CNN），一个是粒子速度的垂直分量，另一个是水平分量，或将两个分量放在一起训练，以推断2D 弹性 FWI的低频弹性数据。CNN架构通过空洞卷积获得大感受野。在Marmousi2上的实验表明从$4$ Hz 以上的带限（band-limited）数据推断出的 $2-4$ Hz 低频数据为P波和S波速度的弹性 FWI 提供了良好的初始模型。 此外，我们还研究了网络从声波数据到弹性数据的泛化能力，在弹性测试数据上， 通过弹性模拟收集训练数据集比声学模拟显示出更好的外推精度，即更小的泛化差距。

• arxiv: 1612.00796

• 序列化的学习方法对AI发展至关重要。而目前连接型的神经网络存在灾难性遗忘问题，本文提出一种方式可以克服这个问题，使得训练的网络能够长时间保存知识。该方法通过选择性地减缓任务的重要程度来记住旧任务。通过MNIST数据集的分类任务和Atari 2600游戏任务实验证明了该方法是可扩展和有效的。

• DOI: 10.1007/978-3-319-46493-0_38

• 深度残差网络表现出很好的分类准确率，该文是作者在原始ResNet的基础上分析了残差块背后的数学原理。

残差块

• 一个残差块可以表示为

  $$\mathbf{y}_l = h(\mathrm{x}_l) + \mathcal{F}(\mathbf{x}_l, \mathcal{W}_l),\\ \mathbf{x}_{l+1} = f(\mathbf{y}_l),\tag{1}$$

  其中$\mathbf{x}_l$代表第$l$个单元的输入，$\mathcal{F}$代表一个残差函数，$h(\mathbf{x_l}) = \mathbf{x}_l$是一个恒等映射，$f$代表ReLU。

• 该文不只是在残差单元内部分析，而是在整个网络中创建一个“直接”路径分析信息传播。结果表明如果$h$和$f$都是恒等映射，则在前向和反向阶段，信号可以直接从一个单元传递到其他任意一个单元。

• DOI: 10.1190/geo2019-0435.1

• 传统方法需要初始模型且计算量大，该文使用共炮点集合和共检波器集合进行特征提取，并进一步反演获得速度模型。

准备工作

构建致密层、断层和盐体模型

• 由于数据驱动的特性，DL方法的性能很大程度取决于训练数据。合理的模型设计可以帮助神经网络更有可能应用于现实情况。

  该文提出了一种设计致密层、断层和盐体模型的新方案。

• 要设计一个带有断层或盐体的致密层模型，首先要生成一个致密层结构模型，再在上面随机添加断层结构。对于致密层模型来说，难点在于如何在有限的深度和勘探分辨率下确保每一层的连续性和可变性，增加地下介质的数量。我们按照以下步骤生成致密层模型：

  1. 随机生成一条曲线作为模型的第一个界面。
  2. 通过上界面进行调整，迭代生成曲线，以确保两个相邻界面之间不会发生剧烈变化并保持逼真。
  3. 将P-波速度值填充到两个相邻面之间的介质中，遵循较深介质对应较大速度值的标准。

• 该文的反演模型大小设定为100x100。在模型四周边界有一个额外的20网格吸收边界。

  作者定义了由多个三角方程和线性方程形成的函数来生成连续、波动和复杂的曲线。

  $$\begin{aligned} y &= y_1 + y_2 + y_3,\\ y_1 &= a_1 \sin\left(\frac{x}{2\pi T_1} + \theta_1\right) + a_2(\sin\left(\frac{x}{2\pi T_2} + \theta_2\right))^2,\\ y_2 &= a_3(\sin\left(\frac{x}{2\pi T_3}+\theta_3\right))^i, i = 1,2,3,\\ y_3 &= r\times x + c_0, \end{aligned}\tag{1}$$

  其中$a_j, T_j$和$\theta_j$为不同三角方程的参数，$r$和$c$分别控制界面倾斜和深度的常数。

  该文设$a_1>a_2>a_3$且$T_1<T_2<T_3$，随机选定$\theta_s$。这使得$y_1$是曲线主导部分，为了让两个相邻层之间趋势相似，与前一个界面相比，应该调整每个界面的$y_1$。$y_2$在每个界面上单独选取$i$。$y_c$通过$c,r$来控制深度和倾斜。

  最终可以获得如图1所示的各个曲线。

• 同时，为了削弱三角函数引起的曲线平滑性，作者还在每条曲线中选择了一些离散点，通过这些点来重新生成新的曲线使模型更逼真。

• P-波速度的设定范围为$[1500, 4000]\ m/s$。根据真实地球介质的固结效应（consolidation effect），每层的速度设置应随着深度增加而增加。该文中将相邻层的速度差设置为大于$200\ m/s$，根据最大波速$v_{\mathrm{max}}$、上一层介质波速$v_{\mathrm{upper}}$、下一层介质数量$\mathrm{ln}$和随机项$r$得到每层介质的速度范围为：

  $$\left[200, r\times \frac{v_{\mathrm{max}} - v_{\mathrm{upper}}}{\mathrm{ln}}\right]\tag{2}$$

• 在致密性模型的基础上，对于断层按照图3操作生成

  对于移动部分的每个点$[h_0, w_0]$，最新位置$[h_{*}, w_{*}]$可以通过如下方程计算得到

  $$[h_{*}, w_{*}] = [h_0+\Delta h, w_0\pm ((h_0+\Delta h)-l(h_0))].\tag{3}$$

  其中$\Delta h$为垂直方向的移动距离，$l(x)$为断层线的方程。同时还需要注意，边界处的速度值将丢失并需要进行填充。

• 盐体可以被视为从底部向上上升的致密地层，同时盐体还会随着流入上层而波动。作者使用高斯函数来模拟逐渐波动：

  $$f(x) = ae^{-(x-b)^2/2c^2}, \tag{4}$$

  其中$a,b$和$c$分别代表振幅、中心值和标准差。为了模拟盐体对致密层的影响，较深的层具有较大的形变。

  如图4所示，原始分层模型根据这组高斯曲线波动模拟盐体的入侵影响，最后通过随机参数的抛物线设计了一个新的岩体，其波速范围为$[4400, 4500] m/s$。

• 作者通过该方法生成了$18\,000$组模型（每种类型$6\,000$个）用于网络训练。

• DOI: 10.1190/geo2019-0473.1

• 传统方法大多尝试将完整数据映射为二维标签，这在处理复杂地下结构时存在局限性。该文利用CNNs学习共中心点道集（CMP）数据道一维速度记录的映射。

地震资料

• 在地震数据采集中，采用等距放置震源和接收器可以均衡地下照明，使其更容易采用常规叠加程序处理。同时取样一般采用定期采样，指定区域中间的共中心点（CMP）的可用偏移集通常是相同的，这意味着对于不同CMP可以使用相同方式估计速度分布。

• 原文地址：Pyramid Scene Parsing Network

• 这是一种基于整合全局上下文信息的金字塔池化模块的网络架构，根据全局先验信息能够有效地进行图像分割。

金字塔池化

• 在深度神经网络中，感受野的大小决定了使用上下文信息的能力。常用的池化例如全局平均池化（GAP）利用全局信息进行池化，但在复杂场景下表现并不好，作者希望能够有一个基于子区域的全局上下文信息表示，于是提出了金字塔池化的概念。

  在金字塔池化模块中，特征图先经过池化操作（使用自适应平均池化）进行下采样，再进行上采样（使用二次线性差值）得到新的特征图并与原特征图拼接。

  同时金字塔池化融合了四个比例的特征（默认是[1, 2, 3, 6]）。

• GAN的本质是将生成器的分布逼近真实分布。VAE则是训练两个分布$q, p$分别表示从真实数据到噪声和噪声到生成数据的映射。

  扩散模型和VAE类似，也是一套从真实数据到噪声的分布以及噪声到生成数据的分布，但是在扩散模型中将这个过程分成了$T$步。

  扩散模型包含两个部分：扩散和和逆扩散过程。

准备工作

数据集

• 我选用Convolutional neural network for seismic impedance inversion中的数据，其中包含2020道一维地震波以及波阻抗数据。

  正演参数为频率为30Hz的雷克子波，$\Delta t = 4.3875e-4$。图1中为数据集中的4道数据展示，其中波阻抗数据已进行缩放。

• 随后将这些数据集划分为500个验证集、500个测试集和1020个训练集。

• DOI: 10.1109/TCI.2019.2956866

• 传统的FWI很贵且效率不高，本文提出了一种深度学习反演方法，利用神经网络（CNN）学习和预测地震速度和地下结构的关系构建地震速度模型。

背景

物理驱动技术

• 时域中的声波方程为

  $$\left[\frac{1}{K(\boldsymbol{r})}\frac{\partial^2}{\partial t^2} - \nabla\cdot\left(\frac{1}{\rho(\boldsymbol{r})}\nabla\right)\right]p(\boldsymbol{r},t) = s(\boldsymbol{r},t)\tag{1}$$

  其中$\boldsymbol{r}$是位置向量，$\rho$代表密度，$K$是体积模量，$s$代表震源，$p$为压力波场，$t$为时间。正演表示为

  $$P = f(\boldsymbol{y})\tag{2}$$

  其中$P$代表波场位移，$f$代表正演操作，$\boldsymbol{y}$代表速度模型向量（密度和波速）。使用时域交错网格有限差分来求解。同时本文只关注恒定密度+弹性介质的情况。

• 对于反演，便可以看成一个优化问题，最小化目标函数

  $$E(\boldsymbol{y}) = \min\limits_{\boldsymbol{y}}\left\{\lVert\boldsymbol{x} - f(\boldsymbol{y})\rVert_2^2 + \lambda R(\boldsymbol{y})\right\}\tag{3}$$

  其中$x$代表真实记录的数据，$f(\boldsymbol{y})$代表正演结果，$\lVert\cdot\rVert_2$代表L2范式，$\lambda$是正则化惩罚参数，$R(y)$为正则项，常用Tikhonov正则项（总方差正则化、岭回归、TV）

  $$E(\boldsymbol{y}) = \min\limits_{\boldsymbol{y}}\left\{\lVert\boldsymbol{x} - f(\boldsymbol{y})\rVert_2^2 + \lambda \lVert H\boldsymbol{y}\rVert_2^2\right\}\tag{4}$$

  其中$H$为高通滤波矩阵或单位矩阵。TV正则项为L2正则项，非常适合平滑模型。

• 最终添加TV正则项的目标函数为

  $$E(\boldsymbol{y}) = \min\limits_{\boldsymbol{y}}\left\{\lVert\boldsymbol{x} - f(\boldsymbol{y})\rVert_2^2 + \lambda \lVert\boldsymbol{y}\rVert_{\mathrm{TV}}\right\}\tag{5}$$

  其中在2维模型中正则项为

  $$\lVert\boldsymbol{y}\rVert_{\mathrm{TV}} = \sum_{1\le i,j\le n}{\sqrt{\lvert (\nabla_x \boldsymbol{y})_{i,j}\rvert^2 + \lvert(\nabla_z \boldsymbol{y})_{i,j}\rvert^2}}\tag{6}$$

  其中$\lvert (\nabla_x \boldsymbol{y})_{i,j}\rvert = m_{i+1,j} - m_{i,j},\ \lvert (\nabla_z \boldsymbol{y})_{i,j}\rvert = m_{i,j+1} - m_{i,j}$代表网格点$(i,j)$处的方向导数。

• 后面还介绍了对于正则化参数$\lambda$的大小分析，以及MTV正则化技术，并且指出FWI基于梯度优化方案，成本高且对于小型结构的分辨率不够好。

• 在CNN中，通过卷积的引入能够很好的对图片进行分类，但是如何识别图片中的物体依然是一个难题。CNN会在卷积层之后接入若干全连接层，将卷积层产生的特征图映射为固定长度的特征向量进行输出，每个值代表样本属于某个类别的概率。

  全卷积网络（Fully Convolutional Nerworks，FCN）则是抛弃最终的全连接层，直接对图像进行像素级的分类，在FCN中将引入反卷积层将对卷积层的输出进行采样恢复为输入图像的大小，从而对每个像素产生一个预测值，最后逐个像素计算softmax分类损失获取最终分类预测。