Deep Learning Note: 1-8 随机初始化
前面在进行逻辑回归的梯度下降时，将各个参数都初始化为 0，但在神经网络中不能这样做。 例如对于如图 1 所示的网络： 如果将 $W$ 初始化为 0，即： \begin{equation} W^{[1]} = \begin{bmatrix}0 & 0 \\ 0 & 0 \end{bmatrix} W^{[2]} = \begin{bmatrix}0 &am…
Read more
learn, build, evaluate
前面在进行逻辑回归的梯度下降时，将各个参数都初始化为 0，但在神经网络中不能这样做。 例如对于如图 1 所示的网络： 如果将 $W$ 初始化为 0，即： \begin{equation} W^{[1]} = \begin{bmatrix}0 & 0 \\ 0 & 0 \end{bmatrix} W^{[2]} = \begin{bmatrix}0 &am…
Read more