概率论 Cheat Sheet 25：矩母函数
1. 矩母函数
随机变量 $X$ 的矩母函数 $M(t)$ 定义为
\begin{equation}
M(t) = E[e^{tX}] = \begin{cases} \sum_x e^{tx} p(x) & 若 \; X \; 离散，分布列为 \; p(x) \\
\int_{-\infty}^{\infty} e^{tx} f(x) \mathrm{d}x & 若 \; X \; 连续，密度函数为 \; f(x)\end{cases} \tag{1}
\end{equation}
其中 $t$ 为任意实数。之所以称 $M(t)$ 为矩母函数，是因为 $X$ 的所有各阶矩都可以从 $M(t)$ 在 $t = 0$ 的各阶微商得到，例如
\begin{equation}
M'(t) = \frac{\mathrm{d}}{\mathrm{d}t} E[e^{tX}] = E\Big[\frac{\mathrm{d}}{\mathrm{d}t} e^{tX}\Big] = E[X e^{tX}] \tag{2}
\end{equation}
上式假定微商和期望两个运算可以互换次序，即在离散情形下，假定有
\begin{equation}
\frac{\mathrm{d}}{\mathrm{d}t} \Big[\sum_x e^{tx} p(x)\Big] = \sum_x \frac{\mathrm{d}}{\mathrm{d}t} [e^{tx} p(x)]
\end{equation}
在连续情形下，假定有
\begin{equation}
\frac{\mathrm{d}}{\mathrm{d}t} \Big[\int e^{tx} f(x) \mathrm{d}x\Big] = \int \frac{\mathrm{d}}{\mathrm{d}t} [e^{tx} f(x)] \mathrm{d}x
\end{equation}
这个假定在通常情况下能够验证。在式 $(2)$ 中，令 $t = 0$，可得
\begin{equation}
M'(0) = E[X]
\end{equation}
类似地
\begin{equation}
M^{\prime\prime}(t) = \frac{\mathrm{d}}{\mathrm{d}t} M'(t) = \frac{\mathrm{d}}{\mathrm{d}t} E[X e^{tX}] = E\Big[ \frac{\mathrm{d}}{\mathrm{d}t} X e^{tX}\Big] = E[X^2 e^{tX}]
\end{equation}
可得
\begin{equation}
M^{\prime\prime}(0) = E[X^2]
\end{equation}
一般地，对 $M(t)$ 求 $n$ 次导数可得
\begin{equation}
M^{(n)}(t) = E[X^n e^{tX}] \qquad n \geq 1 \tag{3}
\end{equation}
从而有
\begin{equation}
M^{(n)}(0) = E[X^n] \qquad n \geq 1 \tag{4}
\end{equation}
二项分布的矩母函数 设 $X$ 是参数为 $(n, p)$ 的二项分布随机变量，则
\begin{align}
M(t) &= E[e^{tX}] = \sum_{k=0}^n e^{tk} \binom{n}{k} p^k (1 – p)^{n – k} \\
&= \sum_{k=0}^n \binom{n}{k} (pe^t)^k (1 – p)^{n – k} = (pe^t + 1 – p)^n
\end{align}
等号两边求微商得
\begin{equation}
M'(t) = n (pe^t + 1 – p)^{n – 1} pe^t
\end{equation}
故
\begin{equation}
E[X] = M'(0) = np
\end{equation}
在进行一次微商得
\begin{equation}
M^{\prime\prime}(t) = n(n – 1) (pe^t + 1 – p)^{n – 2} (pe^t)^2 + n(pe^t + 1 – p)^{n – 1} pe^t
\end{equation}
故
\begin{equation}
E[X^2] = M^{\prime\prime}(0) = n(n – 1)p^2 + np
\end{equation}
于是可得
\begin{equation}
\mathrm{Var}(X) = E[X^2] – (E[X])^2 = n(n – 1)p^2 + np – (np)^2 = np(1 – p)
\end{equation}
矩母函数的一个重要性质是，矩母函数唯一地确定了分布。设 $M_X(t)$ 是 $X$ 的矩母函数，并在 $t = 0$ 的某一邻域内有定义且有限，则 $X$ 的分布被 $M_X(t)$ 唯一确定。例如，若
\begin{equation}
M_X(t) = \Big(\frac{1}{2}\Big)^{10} (e^{t} + 1)^{10}
\end{equation}
则 $X$ 是参数为 $(10, 2)$ 的二项随机变量。
矩母函数的另一个重要性质是，独立随机变量和的矩母函数等于各随机变量各自矩母函数的乘积。设 $X$ 和 $Y$ 为相互独立的随机变量，其矩母函数分别为 $M_X(t)$ 和 $M_Y(t)$，记 $M_{X + Y}(t)$ 为 $X + Y$ 的矩母函数，则
\begin{equation}
M_{X + Y}(t) = E[e^{t(X + Y)}] = E[e^{tX} e^{tY}] = E[e^{tX}] E[e^{tY}] = M_X(t) M_Y(t) \tag{5}
\end{equation}
2. 联合矩母函数
将矩母函数推广到两个或多个随机变量的联合矩母函数，设 $X_1, \cdots, X_n$ 为随机变量序列，其联合矩母函数 $M(t_1, \cdots, t_n)$ 对实数 $t_1, \cdots, t_n$ 定义
\begin{equation}
M(t_1, \cdots, t_n) = E[e^{t_1X_1 + \cdots + t_nX_n}] \tag{6}
\end{equation}
$X_i$ 的矩母函数可以从联合矩母函数 $M(t_1, \cdots, t_n)$ 中得到，即
\begin{equation}
M_{X_i}(t) = E[e^{tX_i}] = M(0, \cdots, 0, t, 0, \cdots, 0) \tag{7}
\end{equation}
上式右边 $t$ 的位置刚好在第 $i$ 个变量的地方。
可以证明，$X_1, \cdots, X_n$ 的联合矩母函数唯一地确定了它们的联合分布。利用这个结论，可以证明 $X_1, \cdots, X_n$ 相互独立的充要条件是
\begin{equation}
M(t_1, \cdots, t_n) = M_{X_1}(t_1) \cdots M_{X_n}(t_n) \tag{8}
\end{equation}