# 基础知识

# 概念

对多变量总体，一次同时观测$p$ 个变量，
我们将每次观测的结果称为一个样品，$n$ 个样品形成一个样本

随机向量：$p$ 个随机变量组一块，$X=(X_1, X_2, \cdots, X_p)^T$

独立：联合分布函数 =$\prod$ 各自分布函数；或联合分布密度 =$\prod$ 各自分布密度

# 数值特征

# 均值

定义均值向量$\mu$ （要求所有$E(X_i)$ 存在）：

$$E(X)=\begin{bmatrix}E(X_1)\\E(X_2)\\\vdots\\E(X_p)\end{bmatrix}=\begin{bmatrix}\mu_1\\\mu_2\\\vdots\\\mu_p\end{bmatrix}=\mu$$

• $E(AX)=AE(X)$
• $E(AXB)=AE(X)B$

# 方差

$p$ 维随机向量$X$ 的协方差阵：

$$\begin{align*} \varSigma &= \text{cov}(X, X) = E[(X - EX)(X - EX)^T] = D(X) \\\\ &= \begin{bmatrix} D(X_1) & \text{cov}(X_1, X_2) & \cdots & \text{cov}(X_1, X_p) \\ \text{cov}(X_2, X_1) & D(X_2) & \cdots & \text{cov}(X_2, X_p) \\ \vdots & \vdots & \ddots & \vdots \\ \text{cov}(X_p, X_1) & \text{cov}(X_p, X_2) & \cdots & D(X_p) \end{bmatrix} \\\\ &= (\sigma_{ij}) \end{align*}$$

称行列式$\vert \text{cov}(X, X) \vert$ 为$X$ 的广义方差

1. $D(AX) = AD(X)A^T = A\varSigma A^T$
2. $\text{cov}(AX, BY) = A\text{cov}(X, Y)B^T$
3. $E(X^T AX) = tr(A\varSigma) + \mu^T A\mu$

随机向量$X=(X_1, X_2, \cdots, X_p)^T$， 其协方差阵$\varSigma$ 都是对称阵，同时总是半正定的，大多数情形下是正定的。

半正定：所有特征值大于等于 0，所有的主子式（即行列式的前几个小矩阵）必须都不小于 0

正定：所有特征值大于 0，所有的主子式必须都严格大于 0

随机向量$X$ 的相关阵：

$$\begin{align*} R &= \text{corr}(X, X) \\\\ &= \begin{bmatrix} 1 & \text{corr}(X_1, X_2) & \cdots & \text{corr}(X_1, X_p) \\ \text{corr}(X_2, X_1) & 1 & \cdots & \text{corr}(X_2, X_p) \\ \vdots & \vdots & \ddots & \vdots \\ \text{corr}(X_p, X_1) & \text{corr}(X_p, X_2) & \cdots & 1 \end{bmatrix} \\\\ \end{align*}$$

为克服不同指标量纲的影响，我们对变量做标准化：

$$X_j^* = \dfrac{X_j - E(X_j)}{\sqrt{D(X_j)}}, \quad j = 1, 2, \cdots, p\\\\ X^* = (X_1^*, X_2^*, \cdots, X_p^*)^T$$

此时$E(X^*) = 0$，$D(X^*) = E[X^* X^{*T}] = \text{corr}(X) = R$

对于抽样出来的样本，则有：

$$\begin{align*} \varSigma &= \text{cov}(X, X) \\\\ &= \frac{1}{n-1}(X-\bar X)(X-\bar X)^T\\ \end{align*}$$

$i$ 行$j$ 列的位置，恰好是对应的乘积

此时：

$$R= \frac{1}{n-1}X^*{X^*}^T$$

# 多元正态分布

# 概念

$X$ 为$p$ 维正态随机变量，即$X \sim N_p(\mu, V)$ 时，其密度函数为：

$$f(x_1, x_2, \cdots, x_p) = \frac{1}{(2 \pi)^{\frac{p}{2}} |V|^{\frac{1}{2}}} \exp \left\{ -\frac{1}{2} (X - \mu)^T V^{-1} (X - \mu) \right\}$$

其中$\mu$ 是均值向量，$V$ 是协方差矩阵，且$V>0$
当$|V| = 0$ 时，$X$ 的分布维度退化，即这$p$ 个随机变量线性相关

换个定义方式：若对任何非零向量$a \in R^p$，$X$ 的线性组合$a^T X$ 服从一元正态分布$N(a^T \mu, a^T V a)$，则称$X$ 服从$p$ 元正态分布$N_p(\mu, V)$

# 性质

1. $p$ 维正态分布由其均值向量和协方差阵唯一确定
2. 对于任一 $p$ 维向量$\mu$ 及$p$ 阶非负定矩阵$V$，必存在$p$ 维正态随机向量$X \sim N_p(\mu, V)$.
3. 设$X \sim N_p(\mu, V)$， $A$ 是$m \times p$ 常数矩阵， $b$ 是$m$ 维向量， 若令$Y = AX + b$， 则$Y \sim N_p(A\mu + b, AVA^T)$.
4. $X$ 为$p$ 维正态随机向量的充要条件为对任一$p$ 维向量$c$， $c^TX$ 是一维正态随机变量（书上写的，别纠结于零向量了）
5. 设$X=(X_1^T, X_2^T)^T$ 为多维正态随机向量， 则$X_1$ 与$X_2$ 互不相关的充要条件是$X_1$ 与$X_2$ 相互独立（多元正态分布的随机向量中，元素不相关就是独立）
6. 设$X \sim N_p(\mu, V)$， 则$rank(V)=m$ 的充要条件是存在$m \times p$ 的矩阵$B(BB^T = V)$ 使得$X = BY+\mu$， 其中$Y \sim N_m(0, I_m)$
7. 若$X \sim N_p(\mu, V)$， 且$\vert V\vert\neq0$， 则 $\eta \triangleq (X - \mu)^T V^{-1}(X - \mu) \sim \chi^2(p)$（半正定矩阵满秩，那么该矩阵正定）

# 多元正态条件分布

将多元正态分布的随机向量分块：$X=\begin{pmatrix}X_1\\X_2 \end{pmatrix}$，长度分别为$k$ 与$p-k$

则可得到：

$$\mu=\begin{pmatrix}\mu_1\\\mu_2 \end{pmatrix},\;V=\begin{pmatrix}V_{11}&V_{12}\\V_{21}&V_{22}\end{pmatrix}$$

给定$X_2$ 时，$X_1$ 的条件分布为$N_k(\mu_{1\cdot2},V_{11\cdot2})$，其中：

$$\begin{align*} \mu_{1\cdot2}=&\mu_1+V_{12}V_{22}^{-1}(X_2-\mu_2)\\ V_{11\cdot2}=&V_{11}-V_{12}V_{22}^{-1}V_{21} \end{align*}$$

同样，给定$X_1$ 时，$X_2$ 的条件分布为$N_k(\mu_{2\cdot1},V_{22\cdot1})$，把上式中所有 1 换成 2、2 换成 1 即可

偏相关系数：给定$X_3$（扣除了$X_3$ 的影响之后），$X_1$ 与$X_2$ 的相关系数

# 均值向量与协方差阵的估计

首先注意样本的形状为$X_{n\times p}$，把每个随机向量样品横过来作行了，一共$n$ 行

化简的联合分布密度函数：

$$\large p(X;\mu;V)=(2\pi)^{-\frac{np}{2}}|V|^{-\frac{n}{2}}exp\Big\{-\frac{1}{2}tr\{V^{-1}[S+n(\bar x-\mu)(\bar x-\mu)^T]\}\Big\}$$

其中$\bar X=\dfrac{1}{n}\sum^n_{k=1}X_k$，$S=\sum^n_{k=1}(X_k-\bar X)(X_k-\bar X)^T$，

在化简过程中，我们用到的矩阵的迹的性质 ——

• 矩阵的循环置换不会改变迹的值，即$tr(ABC)=tr(BCA)=tr(CBA)$
• 对于常数$a$，$a=tr(a)$

重要结论：

• $\overline X$ 是$\mu$ 的极大似然估计

• $\frac 1 n S$（离差矩阵）是$V$ 的极大似然估计

• $\overline X$ 是$\mu$ 的 UMVUE

• $\frac 1 {n-1} S$ 是$V$ 的 UMVUE

• $\overline{X}\sim N_p\left(\mu,\frac1nV\right)$, 且$\overline{X}$ 与$S$ 相互独立.

• $S\sim W_p(n-1,V)$, 即自由度为$n-1$ 的 Wishart 分布.

# 均值向量值检验

# V 已知

对于检验问题：

$$\begin{align*} &H_0:\;\mu=\mu_0&\\ &H_1:\;\mu\neq \mu_0& \end{align*}$$

给定显著性水平为$\alpha$，计算：

$$D=n(\bar X-\mu_0)^TV^{-1}(\bar X-\mu_0)$$

当$D\ge \chi^2_{1-\alpha}(p)$，拒绝

# V 未知

与上差不多，计算：

$$F=\dfrac{n}{p}(n-p)(\bar X-\mu_0)^TS^{-1}(\bar X-\mu_0)$$

当$F\ge F_{1-\alpha}(p,n-p)$，拒绝

# 两个正态总体均值相等检验

# V 已知

计算：

$$D=\dfrac{n_1n_2}{n_1+n_2}n(\bar X-\bar Y)^TV^{-1}(\bar X-\bar Y)$$

当$D\ge \chi^2_{1-\alpha}(p)$，拒绝

# V 未知

计算：

$$\widehat V=\dfrac{(n_1-1)\widehat V_1+(n_2-1)\widehat V_2}{n_1+n_2-2} \\\\ F=\dfrac{n_1n_2(n_1+n_2-p-1)}{p(n_1+n_2)(n_1+n_2-2)}(\bar X-\bar Y)^T\widehat V^{-1}(\bar X-\bar Y)$$

当$F\ge F_{1-\alpha}(p,n_1+n_2-p-1)$，拒绝