[ML Notes] 一元线性回归
Contents [show]
1. 基本形式
一元线性回归的基本形式为:
f(x)=wx+b
其中 x 为特征,w 和 b 分别为权重和偏置。其对应的均方误差为
J(w,b)=1mm∑i=1[yi–f(xi)]2=1mm∑i=1(yi–wxi–bi)2
其中 m 为样例总数,xi 和 yi 分别为第 i 个样例的特征和标签。
2. 参数求解
最佳的 w 和 b 会最小化均方误差,即
(w∗,b∗)=argmin(w,b)J(w,b)
式 (2) 分别为 w 和 b 求偏导,得
∂J∂w=m∑i=12(yi–wxi+b)(−x)=2(wm∑i=1x2i–m∑i=1(yi–b)xi)
∂J∂b=m∑i=12(yi–wxi+b)(−1)=2(mb–m∑i=1(yi–wxi))
由式 (5),令 ∂J∂b=0,可解得
b=1mm∑i=1(yi–wxi)=¯y–w¯x
由式 (4),令 ∂J∂w=0,有
wm∑i=1x2i–m∑i=1(yi–b)xi=0
将式 (6) 代入上式,得
wm∑i=1x2i–m∑i=1(yi–¯y+w¯x)xi=0
wm∑i=1x2i–m∑i=1yixi+¯ym∑i=1xi–w¯xm∑i=1xi=0
w(m∑i=1x2i–¯xm∑i=1xi)=m∑i=1yixi–¯ym∑i=1xi
w(m∑i=1x2i–1mm∑i=1xim∑i=1xi)=m∑i=1yixi–m∑i=1yi¯x
解得
w=m∑i=1yi(xi–¯x)m∑i=1x2i–1m(m∑i=1xi)2