Deep Learning Note: 1-2 计算图
1. 计算图 神经网络的训练过程主要包括用于计算网络输出的前向传播（Forward Propagation），和用于计算各参数偏导数的反向传播（Forward Propagation）。通过计算图可以更好地理解这个计算过程。 先看一个简单的例子，对于如下函数： \begin{equation} J(a, b, c) = 3(a + bc) \tag{1} \end{equation} …
Read more
通过计算图求梯度下降中各偏导的推导
在 Neural Networks and Deep Learning 课程的 Logistic Regression Gradient Descent 一节以逻辑回归为例，介绍了使用计算图（Computation Graph）求梯度下降中各偏导的方法，但没有给出具体的推导过程。 例子中模型为： \begin{equation} z = w^Tx + b \tag{1} \end{equa…
Read more