Loading [MathJax]/jax/output/HTML-CSS/jax.js

[ML Notes] 一元线性回归

1. 基本形式

  一元线性回归的基本形式为:

f(x)=wx+b

其中 x 为特征,wb 分别为权重和偏置。其对应的均方误差为

J(w,b)=1mmi=1[yif(xi)]2=1mmi=1(yiwxibi)2

其中 m 为样例总数,xiyi 分别为第 i 个样例的特征和标签。

2. 参数求解

  最佳的 wb 会最小化均方误差,即

(w,b)=argmin(w,b)J(w,b)

  式 (2) 分别为 wb 求偏导,得

Jw=mi=12(yiwxi+b)(x)=2(wmi=1x2imi=1(yib)xi)

Jb=mi=12(yiwxi+b)(1)=2(mbmi=1(yiwxi))

由式 (5),令 Jb=0,可解得

b=1mmi=1(yiwxi)=¯yw¯x

由式 (4),令 Jw=0,有

wmi=1x2imi=1(yib)xi=0

将式 (6) 代入上式,得

wmi=1x2imi=1(yi¯y+w¯x)xi=0

wmi=1x2imi=1yixi+¯ymi=1xiw¯xmi=1xi=0

w(mi=1x2i¯xmi=1xi)=mi=1yixi¯ymi=1xi

w(mi=1x2i1mmi=1ximi=1xi)=mi=1yiximi=1yi¯x

解得

w=mi=1yi(xi¯x)mi=1x2i1m(mi=1xi)2