FISTA解决地震反演问题 [WIP]

• 迭代收缩阈值算法（Iterative shrinkage-thresholding algorithm, ISTA）是一种用于信号处理和图像重建的优化算法。

  本文将介绍ISTA算法原理和其处理地震反演问题的实际应用。

优化问题

梯度下降

• 对于一个线性变换问题$\mathbf{y} = \mathbf{A}\mathbf{x} + \mathbf{b}$，其中$\mathbf{A}$和$\mathbf{y}$已知，$\mathbf{b}$为未知噪音，我们需要求解$\mathbf{x}$。

  本质上这就是一个线性回归问题，从线性回归可知我们可以使用梯度下降解决这个问题。

• 梯度下降会带来新的问题，对于无约束的优化问题

  $$\underset{x}{\min}\{F(x)\equiv f(x)\}.\tag{1}$$

  若实函数$F(x)$在点$a$处可微且有定义，梯度下降总是认为$F(x)$在点$a$沿着梯度相反的方向$-\nabla F(a)$下降最快。

  所以当$f(x)$连续可微时，若存在一个足够小的数值$t>0$使得

  $$x_2 = x_1 -t\nabla F(a).\tag{2}$$

  则有$F(x_1) \ge F(x_2)$。

  梯度下降核心便是通过式2找到序列$\{x_k\}$，使得$F(x_k)\ge F(x_{k-1})$。

  显然，此时初值的选取成了关键，即梯度下降可能陷入局部最优，同时$t_k$的选取（机器学习中的学习率）也是关键，太小会导致迭代太慢，太大会导致无法收敛。