逻辑回归代价函数的解释
本文整理自 Neural Networks and Deep Learning 的 Explanation of logistic regression cost function 一节，给出了逻辑回归代价函数的解释。 二分类逻辑回归中，记预测值为 ，真实值为 。预测值 的计算方式为： (1) 其中， 是 Sigmoid 函数： (2) 可以将 看作对给定样本 …
Read more
通过计算图求梯度下降中各偏导的推导
在 Neural Networks and Deep Learning 课程的 Logistic Regression Gradient Descent 一节以逻辑回归为例，介绍了使用计算图（Computation Graph）求梯度下降中各偏导的方法，但没有给出具体的推导过程。 例子中模型为： (1) 预测为： (2) 其中 为 Sigmoid 函数： (3) &nb…
Read more
Sigmoid 函数和 Softmax 函数的区别和关系
Sigmoid 和 Softmax 是在逻辑回归和神经网络中常用的两个函数，初学时经常会对二者的差异和应用场景产生疑惑。 Sigmoid 函数形式为： (1) Sigmoid 是一个可微的有界函数，在各点均有非负的导数。当 时，；当 时，。常用于二元分类（Binary Classification）问题，以及神经网络的激活函数（Activation Function）（把线性…
Read more
在 Windows 平台安装 NVIDIA GPU 加速的 TensorFlow
TensorFlow 支持使用 NVIDIA GPU 进行加速，但相关文档比较分散，较难操作。本文整理了在 Windows 平台上安装和配置 TensorFlow 并使用 NVIDIA GPU 进行加速的方法。使用环境为 Windows 10 x64 + NVIDIA GeForce GTX 970。 0. 显卡要求 要使用 NVIDIA GPU 加速 TensorFlow，首先要有支持 CUDA…
Read more