最优化理论

• 2024 研究生课程「最优化理论」笔记 & 复习要点。

1. 绪论

1.1. 概念

• 分类：可以根据不同属性的性质进行分类，如

  1. 目标函数：分为线性优化和非线性优化
  2. 约束条件：有约束（等式约束、不等式约束）和无约束
  3. 决策变量：离散型、连续型
  4. 最优解：单目标、多目标
  5. 优化问题：凸优化（通常为全局最优解）、非凸优化（多个局部最优解）

• 解：

  1. 最优解：目标函数取最值的变量
  2. 可行解：满足约束条件，但不一定最优
  3. 梯度：$g = \nabla f(x)$，目标函数的方向导数
  4. Hesse矩阵：$G = \nabla^2 f(x)$，目标函数的二阶方向导数

论文写作（结课报告）

• 本篇博文为2024年研究生课程《论文写作》结题报告。

  本文从论文框架开始，按照总分结构，逐步分析论文写作中各类技巧以及注意事项。

论文框架

1. 要写什么论文？

   找到工作的重心，例如对于目前大部分A+B工作，需要知道该重点写什么，大家都知道你有效果提升，但是提升了多少？为什么会提升？前人做错了？后续还能更好？

   当然这里更多是实验的工作，但是实验最终还是为了写作的，所以搞清楚要做什么，要写什么。当然，大部分的文章模仿lab/该领域内大家的叙事风格即可。

2. 怎么写论文，先写什么，后写什么？

   对于一篇论文，摘要算是全文的缩写。总结算是核心的重复。而对于其他部分基本可以拆成下列内容

   1. Introducation
       引入问题、前人工作、具体方案
       现有挑战、本文方法、本文贡献
   2. Related Work
       领域综述、技术描述、技术细节
   3. Network
       模型细节、损失函数、算法细节
       训练方案
   4. Experiments
       数据介绍、数据处理、对比算法
       实验设置、实验结果、对比分析
   5. Discuss/Analysis
       提出问题、分析问题、消融实验
       开放探讨
   

   此时，可以考虑做了什么工作就写哪部分，以及注意每部分重心，例如Introducation中介绍某个算法时不应该把细节讲的太清楚，而重点要考虑为什么要介绍这个算法。例如

   1. 该领域内创先/转折点/开山之作，但是比较老我们该文不会再用到，这种作为一个阶段的代表作提一下就行。
   2. 该文近似领域内相关算法，里面用到的方法/组件很好，本文也（或者说大家都）使用了。那就重点是将里面的方法/组件。
   3. 某种方法/组件。在intro里面讲一下它的来历和好处就行了，计算细节/原因分析可以后面再讲。

   对于其他部分也是同理。

   同时对于摘要还是尽量先写好，这些写每个部分的时候不会偏题。而总结的话可以最后写，主要是写你要再次强调的部分，例如效果很好、方法很新之类的。