﻿ 反向传播演示

## 正向传播

$$\color{input} x_j \color{black} =$$$$\sum_{i\in in(j)} w_{ij}\color{output} y_i\color{black} +b_j$$

## 正向传播

$$\color{output} y \color{black} = f(\color{input} x \color{black})$$

## 正向传播

$$\color{output} y \color{black} = f(\color{input} x \color{black})$$
$$\color{input} x_j \color{black} =$$$$\sum_{i\in in(j)} w_{ij}\color{output} y_i \color{black} + b_j$$

## 误差导数

$$w_{ij} = w_{ij} - \alpha \color{dweight}\frac{dE}{dw_{ij}}$$

[注意] 该更新法则非常简单：如果在权重提高后误差降低了 ($$\color{dweight}\frac{dE}{dw_{ij}}\color{black} < 0$$)，则提高权重；否则，如果在权重提高后误差也提高了 ($$\color{dweight}\frac{dE}{dw_{ij}} \color{black} > 0$$)，则降低权重。

## 其他导数

• 节点 $$\color{dinput}\frac{dE}{dx}$$ 的总输入，以及
• 节点 $$\color{doutput}\frac{dE}{dy}$$ 的输出。

## 反向传播

$$\color{doutput} \frac{\partial E}{\partial y_{output}} \color{black} = \color{output} y_{output} \color{black} - \color{output} y_{target}$$

## 反向传播

$$\color{dinput} \frac{\partial E}{\partial x} \color{black} = \frac{dy}{dx}\color{doutput}\frac{\partial E}{\partial y} \color{black} = \frac{d}{dx}f(\color{input}x\color{black})\color{doutput}\frac{\partial E}{\partial y}$$

## 反向传播

$$\color{dweight} \frac{\partial E}{\partial w_{ij}} \color{black} = \frac{\partial x_j}{\partial w_{ij}} \color{dinput}\frac{\partial E}{\partial x_j} \color{black} = \color{output}y_i \color{dinput} \frac{\partial E}{\partial x_j}$$

## 反向传播

$$\color{doutput} \frac{\partial E}{\partial y_i} \color{black} = \sum_{j\in out(i)} \frac{\partial x_j}{\partial y_i} \color{dinput} \frac{\partial E}{\partial x_j} \color{black} = \sum_{j\in out(i)} w_{ij} \color{dinput} \frac{\partial E}{\partial x_j}$$