文章 | Xenny 的博客

最优化理论

2024 研究生课程「最优化理论」笔记 & 复习要点。

1. 绪论

1.1. 概念

分类：可以根据不同属性的性质进行分类，如
1. 目标函数：分为线性优化和非线性优化
2. 约束条件：有约束（等式约束、不等式约束）和无约束
3. 决策变量：离散型、连续型
4. 最优解：单目标、多目标
5. 优化问题：凸优化（通常为全局最优解）、非凸优化（多个局部最优解）
解：
1. 最优解：目标函数取最值的变量
2. 可行解：满足约束条件，但不一定最优
3. 梯度： $g = \nabla f(x)$ ，目标函数的方向导数
4. Hesse矩阵： $G = \nabla^2 f(x)$ ，目标函数的二阶方向导数

Xenny原创大约 19 分钟

数值分析

2024研究生课程「数值分析」笔记&复习要点。

1. 绪论

1.1. 误差和误差限

绝对误差
$e^{*} = x^{*} - x$
即真实值和近似值的绝对差，一般情况我们不知道真实值，所以求不出绝对误差。但是可以求绝对误差限 $\vert e^{*}\vert < \varepsilon$ 。
相对误差
$e^{*}_r \approx \frac{e^{*}}{x^{*}} = \frac{x^{*} - x}{x^{*}}$
相对误差限为 $\vert e^{*}_r\vert < \varepsilon_r$ 。

Xenny原创大约 18 分钟

论文写作（结课报告）

本篇博文为2024年研究生课程《论文写作》结题报告。

本文从论文框架开始，按照总分结构，逐步分析论文写作中各类技巧以及注意事项。

论文框架

要写什么论文？

找到工作的重心，例如对于目前大部分A+B工作，需要知道该重点写什么，大家都知道你有效果提升，但是提升了多少？为什么会提升？前人做错了？后续还能更好？

当然这里更多是实验的工作，但是实验最终还是为了写作的，所以搞清楚要做什么，要写什么。当然，大部分的文章模仿lab/该领域内大家的叙事风格即可。
怎么写论文，先写什么，后写什么？

对于一篇论文，摘要算是全文的缩写。总结算是核心的重复。而对于其他部分基本可以拆成下列内容
```
1. Introducation
    引入问题、前人工作、具体方案
    现有挑战、本文方法、本文贡献
2. Related Work
    领域综述、技术描述、技术细节
3. Network
    模型细节、损失函数、算法细节
    训练方案
4. Experiments
    数据介绍、数据处理、对比算法
    实验设置、实验结果、对比分析
5. Discuss/Analysis
    提出问题、分析问题、消融实验
    开放探讨
```
此时，可以考虑做了什么工作就写哪部分，以及注意每部分重心，例如Introducation中介绍某个算法时不应该把细节讲的太清楚，而重点要考虑为什么要介绍这个算法。例如
1. 该领域内创先/转折点/开山之作，但是比较老我们该文不会再用到，这种作为一个阶段的代表作提一下就行。
2. 该文近似领域内相关算法，里面用到的方法/组件很好，本文也（或者说大家都）使用了。那就重点是将里面的方法/组件。
3. 某种方法/组件。在intro里面讲一下它的来历和好处就行了，计算细节/原因分析可以后面再讲。
对于其他部分也是同理。

同时对于摘要还是尽量先写好，这些写每个部分的时候不会偏题。而总结的话可以最后写，主要是写你要再次强调的部分，例如效果很好、方法很新之类的。

Xenny原创大约 10 分钟

禁忌搜索算法

解决什么问题

启发式搜索算法——求解近似值

解决无法找到精确解的复杂优化问题，例如背包问题、神经网络训练、调度问题、工程设计问题。（引入）

特点是利用过去的经验解决具体问题。有时候不能保证问题一定结局，却常常能有效解决问题。
分类
1. 基于群体
  
  每次迭代搜索一组解，算法依赖于多个个体之间的信息交互。
2. 基于个体
  
  关注单个解，从某个解出发迭代得到最优解。
核心思想

给出多个迭代方向、逃离局部最优解

Xenny原创大约 7 分钟

地震波阻抗反演论文笔记

Xenny原创大约 24 分钟

FISTA解决地震反演问题 [WIP]

迭代收缩阈值算法（Iterative shrinkage-thresholding algorithm, ISTA）是一种用于信号处理和图像重建的优化算法。

本文将介绍ISTA算法原理和其处理地震反演问题的实际应用。

优化问题

梯度下降

对于一个线性变换问题 $\mathbf{y} = \mathbf{A}\mathbf{x} + \mathbf{b}$ ，其中 $\mathbf{A}$ 和 $\mathbf{y}$ 已知， $\mathbf{b}$ 为未知噪音，我们需要求解 $\mathbf{x}$ 。

本质上这就是一个线性回归问题，从线性回归可知我们可以使用梯度下降解决这个问题。
梯度下降会带来新的问题，对于无约束的优化问题
$\underset{x}{\min}\{F(x)\equiv f(x)\}.\tag{1}$
若实函数 $F(x)$ 在点 $a$ 处可微且有定义，梯度下降总是认为 $F(x)$ 在点 $a$ 沿着梯度相反的方向 $-\nabla F(a)$ 下降最快。

所以当 $f(x)$ 连续可微时，若存在一个足够小的数值 $t>0$ 使得
$x_2 = x_1 -t\nabla F(a).\tag{2}$
则有 $F(x_1) \ge F(x_2)$ 。

梯度下降核心便是通过式2找到序列 $\{x_k\}$ ，使得 $F(x_k)\ge F(x_{k-1})$ 。

显然，此时初值的选取成了关键，即梯度下降可能陷入局部最优，同时 $t_k$ 的选取（机器学习中的学习率）也是关键，太小会导致迭代太慢，太大会导致无法收敛。

Xenny大约 5 分钟

Seismic impedance inversion based on cycle-consistent generative adversarial network

DOI：10.1016/j.petsci.2021.09.038
由于地震数据的短缺严重影响深度学习的方法和性能。该文提出一种基于cycleGAN的阻抗反演方式来提取未标记数据中包含的信息。

Xenny小于 1 分钟

CAUC: Combining Channel Attention U-Net and Convolution for Seismic Data Resolution Improvement

DOI：10.1109/LGRS.2023.3322263
地震分析和解释对数据分辨率很敏感。由于复杂的自然环境和有限的采集技术，原始地震数据分辨率通常较低。但地震子波的频率带宽是可调的，所以根据这些特征来提高数据的分辨率是可行的。本文提出了一种通道注意U-Net和物理卷积组合（CAUC）算法来增强地震数据的分辨率。

Xenny大约 4 分钟

地震反演基本知识

基本概念

地震数据

波向地下传播时，由于地下结构不同导致地震波会反射回地表，通过在地表设置检波器收集到的波数据即为地震数据。
速度模型

在地震反演中，我们用速度模型来描述地下地质结构，不同的介质波的传播速度不一样，故而可以由速度模型反推介质成分。
波阻抗（Impedance）

波阻抗等于速度乘密度，波阻抗越大代表要产生单位振动速度所需的应力越大。
反射系数

反射系数代表地震波在地下不同介质界面上发生折射、反射的能量损失程度。计算公式为
$r_i = \frac{AI_{i+1} - AI_{i}}{AI_{i+1} + AI_i},\tag{1}$
其中 $AI$ 代表波阻抗。
地震褶积

其实就是子波和反射系数进行卷积运算，一般是在时间域进行运算。本质是把反射系数序列作为一个函数，是地震波传播的数字信号模拟。可以理解为地震波在地下垂直传播过程，在经过不同界面时和反射系数进行叠加。

Xenny原创大约 1 分钟

Identity Mappings in Deep Residual Networks

DOI: 10.1007/978-3-319-46493-0_38
深度残差网络表现出很好的分类准确率，该文是作者在原始ResNet的基础上分析了残差块背后的数学原理。

残差块

Xenny大约 7 分钟