[ML Notes] PCA：最大可分性
主成分分析（Principal Component Analysis，PCA）通过将样本点投影到一个超平面上来实现降维。理想的超平面应当具有： 最大可分性：样本点在这个超平面上的投影能尽可能分开，即最大化投影方差，在投影后保留最多的信息； 最近重构性：样本点到这个超平面的距离足够近，即最小化平方误差，通过投影可以最准确地重构出原始样本点。 首先从最大…
Read more
[ML Notes] 线性回归：正则化
1. L2 正则化，岭回归 对如前文所述的线性模型 $f(\boldsymbol{x})$ 和代价函数 $J(\boldsymbol{w})$ $$ f(\boldsymbol x) = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_n x_n = w_0 + \sum_{i=1}^n w_i x_i = \boldsymbol{w}^\math…
Read more
[ML Notes] Logistic 回归
1. 基本模型 Logistic 回归的基本形式为 $$ f(\boldsymbol{x}) = g(\boldsymbol{w}^\mathrm{T} \boldsymbol{x}) = \frac{1}{1 + e^{-\boldsymbol{w}^\mathrm{T} \boldsymbol{x}}} \tag{1} $$ 其中 $\boldsymbol{w}$ 为参…
Read more
[ML Notes] 线性回归：梯度下降
对如前文所述的线性模型 $f(\boldsymbol{x})$ 和代价函数 $J(\boldsymbol{w})$ $$ f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1} $$ $$ J(\boldsymbol{w}) = \frac{1}{2} \sum_{i=1}^m \big( y…
Read more
[ML Notes] 线性回归：正交投影
考虑前文所述的线性模型 $$ \boldsymbol{f}(X) = X \boldsymbol{w} \tag{1} $$ 理想的 $\boldsymbol{w}$ 应使得 $X \boldsymbol{w} = \boldsymbol{y}$，但这样的解并不一定存在。此时最好的选择是寻找一个 $\boldsymbol{w}$，使得 $X \boldsymbol{w}$ …
Read more
[ML Notes] 线性回归：最大似然
对如前文所述的线性模型 $$ f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1} $$ 记第 $i$ 个样本为 $(\boldsymbol{x}^{(i)}, y^{(i)})$，假设有 $$ y^{(i)} = \boldsymbol{w}^\mathrm{T} \boldsymbol{…
Read more
[ML Notes] 线性回归：Normal Equation
1. 基本形式 线性回归的形式为一系列特征的线性组合 $$ f(x) = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_n x_n \tag{1} $$ 其中 $x_i$ 为特征，$w_i$ 为参数。$w_0$ 为偏置，$w_1, w_2, \dots, w_n$ 为对应特征的权重。 令 $$ \boldsymbol{w}…
Read more
[ML Notes] 一元线性回归
1. 基本形式 一元线性回归的基本形式为： $$ f(x) = w x + b \tag{1} $$ 其中 $x$ 为特征，$w$ 和 $b$ 分别为权重和偏置。其对应的均方误差为 $$ J(w, b) = \frac{1}{m} \sum_{i=1}^m [y_i – f(x_i)]^2 = \frac{1}{m} \sum_{i=1}^m (y_i R…
Read more
在 Linux 平台安装 NVIDIA GPU 计算的 TensorFlow
本文整理了在 Linux 平台上安装和配置 TensorFlow 并使用 NVIDIA GPU 进行计算的方法。使用环境为 Linux Mint 18.3 + NVIDIA GeForce GTX 970。 1. 确认要求 1.1. 确认显卡 Compute Capability 首先需要有一块 CUDA Compute Capability 在 3.0（从源码编译）或 3.5（使用 Bi…
Read more
Deep Learning Note: 5-13 语音识别
1. 语音识别 在语音识别问题中，输入是一段语音的音频，输出是语音的文本。就像人类的耳朵不能直接处理声波，而是通过检测声音中不同频率的强度来拾取语音，语音识别的一个常见的预处理步骤是生成原始音频数据的频谱，如图 1 所示，将频谱数据交给算法进行处理。图 1 中下图所示的频谱中，横轴是时间，纵轴是频谱，颜色表示声音在该频率上的能量。 语音识别系统层一度使用音素（Phoneme）这一人工设计的…
Read more