概率论 Cheat Sheet 25：矩母函数

Author: nex3z 2019-01-26

1. 矩母函数

　　随机变量 $X$ 的矩母函数 $M(t)$ 定义为

$$\begin{equation} M(t) = E[e^{tX}] = \begin{cases} \sum_x e^{tx} p(x) & 若 \; X \; 离散，分布列为 \; p(x) \\ \int_{-\infty}^{\infty} e^{tx} f(x) \mathrm{d}x & 若 \; X \; 连续，密度函数为 \; f(x)\end{cases} \tag{1} \end{equation}$$

其中 $t$ 为任意实数。之所以称 $M(t)$ 为矩母函数，是因为 $X$ 的所有各阶矩都可以从 $M(t)$ 在 $t = 0$ 的各阶微商得到，例如

$$\begin{equation} M'(t) = \frac{\mathrm{d}}{\mathrm{d}t} E[e^{tX}] = E\Big[\frac{\mathrm{d}}{\mathrm{d}t} e^{tX}\Big] = E[X e^{tX}] \tag{2} \end{equation}$$

上式假定微商和期望两个运算可以互换次序，即在离散情形下，假定有

$$\begin{equation} \frac{\mathrm{d}}{\mathrm{d}t} \Big[\sum_x e^{tx} p(x)\Big] = \sum_x \frac{\mathrm{d}}{\mathrm{d}t} [e^{tx} p(x)] \end{equation}$$

在连续情形下，假定有

$$\begin{equation} \frac{\mathrm{d}}{\mathrm{d}t} \Big[\int e^{tx} f(x) \mathrm{d}x\Big] = \int \frac{\mathrm{d}}{\mathrm{d}t} [e^{tx} f(x)] \mathrm{d}x \end{equation}$$

这个假定在通常情况下能够验证。在式 $(2)$ 中，令 $t = 0$，可得

$$\begin{equation} M'(0) = E[X] \end{equation}$$

类似地

$$\begin{equation} M^{\prime\prime}(t) = \frac{\mathrm{d}}{\mathrm{d}t} M'(t) = \frac{\mathrm{d}}{\mathrm{d}t} E[X e^{tX}] = E\Big[ \frac{\mathrm{d}}{\mathrm{d}t} X e^{tX}\Big] = E[X^2 e^{tX}] \end{equation}$$

可得

$$\begin{equation} M^{\prime\prime}(0) = E[X^2] \end{equation}$$

　　一般地，对 $M(t)$ 求 $n$ 次导数可得

$$\begin{equation} M^{(n)}(t) = E[X^n e^{tX}] \qquad n \geq 1 \tag{3} \end{equation}$$

从而有

$$\begin{equation} M^{(n)}(0) = E[X^n] \qquad n \geq 1 \tag{4} \end{equation}$$

　　二项分布的矩母函数　设 $X$ 是参数为 $(n, p)$ 的二项分布随机变量，则

$$\begin{align} M(t) &= E[e^{tX}] = \sum_{k=0}^n e^{tk} \binom{n}{k} p^k (1 – p)^{n – k} \\ &= \sum_{k=0}^n \binom{n}{k} (pe^t)^k (1 – p)^{n – k} = (pe^t + 1 – p)^n \end{align}$$

等号两边求微商得

$$\begin{equation} M'(t) = n (pe^t + 1 – p)^{n – 1} pe^t \end{equation}$$

故

$$\begin{equation} E[X] = M'(0) = np \end{equation}$$

在进行一次微商得

$$\begin{equation} M^{\prime\prime}(t) = n(n – 1) (pe^t + 1 – p)^{n – 2} (pe^t)^2 + n(pe^t + 1 – p)^{n – 1} pe^t \end{equation}$$

故

$$\begin{equation} E[X^2] = M^{\prime\prime}(0) = n(n – 1)p^2 + np \end{equation}$$

于是可得

$$\begin{equation} \mathrm{Var}(X) = E[X^2] – (E[X])^2 = n(n – 1)p^2 + np – (np)^2 = np(1 – p) \end{equation}$$

　　矩母函数的一个重要性质是，矩母函数唯一地确定了分布。设 $M_X(t)$ 是 $X$ 的矩母函数，并在 $t = 0$ 的某一邻域内有定义且有限，则 $X$ 的分布被 $M_X(t)$ 唯一确定。例如，若

$$\begin{equation} M_X(t) = \Big(\frac{1}{2}\Big)^{10} (e^{t} + 1)^{10} \end{equation}$$

则 $X$ 是参数为 $(10, 2)$ 的二项随机变量。

　　矩母函数的另一个重要性质是，独立随机变量和的矩母函数等于各随机变量各自矩母函数的乘积。设 $X$ 和 $Y$ 为相互独立的随机变量，其矩母函数分别为 $M_X(t)$ 和 $M_Y(t)$，记 $M_{X + Y}(t)$ 为 $X + Y$ 的矩母函数，则

$$\begin{equation} M_{X + Y}(t) = E[e^{t(X + Y)}] = E[e^{tX} e^{tY}] = E[e^{tX}] E[e^{tY}] = M_X(t) M_Y(t) \tag{5} \end{equation}$$

2. 联合矩母函数

　　将矩母函数推广到两个或多个随机变量的联合矩母函数，设 $X_1, \cdots, X_n$ 为随机变量序列，其联合矩母函数 $M(t_1, \cdots, t_n)$ 对实数 $t_1, \cdots, t_n$ 定义

$$\begin{equation} M(t_1, \cdots, t_n) = E[e^{t_1X_1 + \cdots + t_nX_n}] \tag{6} \end{equation}$$

$X_i$ 的矩母函数可以从联合矩母函数 $M(t_1, \cdots, t_n)$ 中得到，即

$$\begin{equation} M_{X_i}(t) = E[e^{tX_i}] = M(0, \cdots, 0, t, 0, \cdots, 0) \tag{7} \end{equation}$$

上式右边 $t$ 的位置刚好在第 $i$ 个变量的地方。

　　可以证明，$X_1, \cdots, X_n$ 的联合矩母函数唯一地确定了它们的联合分布。利用这个结论，可以证明 $X_1, \cdots, X_n$ 相互独立的充要条件是

$$\begin{equation} M(t_1, \cdots, t_n) = M_{X_1}(t_1) \cdots M_{X_n}(t_n) \tag{8} \end{equation}$$