• DOI: 10.1007/978-3-319-46493-0_38

• 深度残差网络表现出很好的分类准确率，该文是作者在原始ResNet的基础上分析了残差块背后的数学原理。

残差块

• 一个残差块可以表示为

  $$\mathbf{y}_l = h(\mathrm{x}_l) + \mathcal{F}(\mathbf{x}_l, \mathcal{W}_l),\\ \mathbf{x}_{l+1} = f(\mathbf{y}_l),\tag{1}$$

  其中$\mathbf{x}_l$代表第$l$个单元的输入，$\mathcal{F}$代表一个残差函数，$h(\mathbf{x_l}) = \mathbf{x}_l$是一个恒等映射，$f$代表ReLU。

• 该文不只是在残差单元内部分析，而是在整个网络中创建一个“直接”路径分析信息传播。结果表明如果$h$和$f$都是恒等映射，则在前向和反向阶段，信号可以直接从一个单元传递到其他任意一个单元。