Daily Archive: 2018-01-05

Deep Learning Note: 3-1 正交化

  构建机器学习应用的一大挑战是有众多的方案和选项可以选择和调整,例如在训练过程中就有很多超参数需要调优。在调优的过程中,需要明确进行什么样的调整,可以达到什么样的目的,将各个问题独立开来,在互不影响的情况下分别进行调优,逐个击破,正交化(Orthogonalization)地解决各个问题。   例如对于监督学习系统,通常需要通过调优,确保模型: 能够在代价函数上很好地拟合训练集 能够在代价函数上…
Read more