Daily Archive: 2017-12-30

Deep Learning Note: 2-2 正则化

  解决过拟合问题的主要方法是使用正则化(Regularization)和获取更多数据,但并不是总能获取到更多的数据,或者获取更多数据的成本过高,因此通常首选使用正则化。 1. 逻辑回归的正则化   首先以逻辑回归为例,说明正则化的过程。逻辑回归的代价函数为: \begin{equation} J(w, b) = \frac{1}{m} \sum_{i=1}^m L(\hat{y}^{(i)}, …
Read more