[ML Notes] PCA：最大可分性
主成分分析（Principal Component Analysis，PCA）通过将样本点投影到一个超平面上来实现降维。理想的超平面应当具有： 最大可分性：样本点在这个超平面上的投影能尽可能分开，即最大化投影方差，在投影后保留最多的信息； 最近重构性：样本点到这个超平面的距离足够近，即最小化平方误差，通过投影可以最准确地重构出原始样本点。 首先从最大…
Read more
[ML Notes] 线性回归：正则化
1. L2 正则化，岭回归 对如前文所述的线性模型 $f(\boldsymbol{x})$ 和代价函数 $J(\boldsymbol{w})$ $$ f(\boldsymbol x) = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_n x_n = w_0 + \sum_{i=1}^n w_i x_i = \boldsymbol{w}^\math…
Read more
[ML Notes] Logistic 回归
1. 基本模型 Logistic 回归的基本形式为 $$ f(\boldsymbol{x}) = g(\boldsymbol{w}^\mathrm{T} \boldsymbol{x}) = \frac{1}{1 + e^{-\boldsymbol{w}^\mathrm{T} \boldsymbol{x}}} \tag{1} $$ 其中 $\boldsymbol{w}$ 为参…
Read more
[ML Notes] 线性回归：梯度下降
对如前文所述的线性模型 $f(\boldsymbol{x})$ 和代价函数 $J(\boldsymbol{w})$ $$ f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1} $$ $$ J(\boldsymbol{w}) = \frac{1}{2} \sum_{i=1}^m \big( y…
Read more
[ML Notes] 线性回归：正交投影
考虑前文所述的线性模型 $$ \boldsymbol{f}(X) = X \boldsymbol{w} \tag{1} $$ 理想的 $\boldsymbol{w}$ 应使得 $X \boldsymbol{w} = \boldsymbol{y}$，但这样的解并不一定存在。此时最好的选择是寻找一个 $\boldsymbol{w}$，使得 $X \boldsymbol{w}$ …
Read more
[ML Notes] 线性回归：最大似然
对如前文所述的线性模型 $$ f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1} $$ 记第 $i$ 个样本为 $(\boldsymbol{x}^{(i)}, y^{(i)})$，假设有 $$ y^{(i)} = \boldsymbol{w}^\mathrm{T} \boldsymbol{…
Read more
[ML Notes] 线性回归：Normal Equation
1. 基本形式 线性回归的形式为一系列特征的线性组合 $$ f(x) = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_n x_n \tag{1} $$ 其中 $x_i$ 为特征，$w_i$ 为参数。$w_0$ 为偏置，$w_1, w_2, \dots, w_n$ 为对应特征的权重。 令 $$ \boldsymbol{w}…
Read more
[ML Notes] 一元线性回归
1. 基本形式 一元线性回归的基本形式为： $$ f(x) = w x + b \tag{1} $$ 其中 $x$ 为特征，$w$ 和 $b$ 分别为权重和偏置。其对应的均方误差为 $$ J(w, b) = \frac{1}{m} \sum_{i=1}^m [y_i – f(x_i)]^2 = \frac{1}{m} \sum_{i=1}^m (y_i R…
Read more
修改 WordPress 上传文件大小限制
在 WordPress 上传文件时，默认的上传文件上限只有 2MB，可以通过下述方式调整上限。 1. 修改 php.ini 首先修改 php.ini 中关于上传文件相关的配置，php.ini 的位置可以通过 phpinfo 获得，例如 /etc/php/7.4/fpm/php.ini，修改该文件： nano /etc/php/7.4/fpm/php.ini 在其中搜索并修改以下配置： up…
Read more
[RL Notes] “行动器-评判器”方法
1. “行动器-评判器”方法 直接学习策略参数与学习价值函数并不是互斥的，二者可以结合起来：参数化策略作为行动器（actor）选择动作，价值函数作为评判器（critic）对行动器选择的动作进行评价。 对于策略参数的更新公式 \begin{equation} \boldsymbol{\mathrm{\theta}}_{t+1} \doteq \boldsymbol{\mathrm{\…
Read more