# 不相关 & 独立

独立是小圈，不相关是大圈

独立更严格

• 相关=有线性关系

如果两统计量的协方差为 0，则不相关：

$$\large Covn(X,Y)=\left[E(X-EX)(Y-EY)\right]=E(XY)-EX \cdot EY$$

• 独立=两变量没一点关系

如果两个随机变量$X$ 和$Y$ 的联合概率分布等于它们边缘概率分布的乘积，则它们相互独立：

$$\large P(X \cap Y)=P(X) \times P(Y)$$

# 证明：$E(S^2)=Var(X)$

样本方差（均方差）：$S^{2}=\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}$

总体方差：$Var(X)=E(X^2)-EX^2$

$$\begin{aligned} E(S^{2})&=E\left[\frac{1}{n-1}\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}\right]\\ &=\frac{1}{n-1}E\left[\sum_{i=1}^{n}X_{i}^{2} - 2\overline{X}\sum_{i=1}^n{X_i}+n\overline{X}^{2}\right]\\ &=\frac{1}{n-1}E\left[\sum_{i=1}^{n}X_{i}^{2}-n\overline{X}^{2}\right]\\ &=\frac{1}{n-1}\left[\sum_{i=1}^{n}E(X_{i}^{2})-nE(\overline{X}^{2})\right] \\ &=\frac1{\mathbf{n}-\mathbf{1}}\left[nE(X^2)-nE(\overline{X}^2)\right] \\ &=\frac n{n-1}\Big[E(X^2)-E(\overline{X}^2)\Big] \\ &=\frac n{n-1}\{Var(X)+[E(X)]^2-Var(\overline{X})-[E(\overline{X})]^2\} \\ &=\frac n{n-1}[Var(X)-Var(\overline{X})] \\ &=\frac n{n-1}\left[Var(X)-\frac1nVar(X)\right] \\ &=Var(X) \end{aligned}$$

# 顺序统计量

顺序统计量$X_{(k)}$ 表示样本中第 k 小的那个样本。显然，它是$X_1, X_2, \dots, X_n$ 的函数，且不含未知参数，是一个合法的统计量；
特殊的，有：

$$X_{\left(1\right)}=\min\left\{X_{1},X_{2},\cdots,X_{n}\right\}$$

$$X_{(n)}=\max\{X_{1},X_{2},\cdots,X_{n}\}$$

若总体$X$ 的分布函数为$F(x)$，则：

$$F_{X_{\left(1\right)}}\left(t\right)=1-\left[1-F\left(t\right)\right]^{n}$$

$F_{X_{\left(n\right)}}\left(t\right)=F^{n}\left(t\right)$

样本极差：

$$R=X_{\left(n\right)}-X_{\left(1\right)}$$

样本中位数：

$$m_{0.5}=\begin{cases}X_{\left(\frac{n+1}{2}\right)},&n\text{是奇数}\\ \frac{1}{2}\left(X_{\left(\frac{n}{2}\right)}+X_{\left(\frac{n}{2}+1\right)}\right),&n\text{是偶数}\end{cases}$$

# 大数定律 & 中心极限定理

复习时请看张宇书籍第五讲

简单概括一下：

先给你介绍一下什么是 “依概率收敛”，即$n$ 趋近无穷大时，某随机变量$X_n$ 趋近于某个确定的随机变量 or 常数

# 大数定律

• 切比雪夫大数定律

条件：独立，方差都有上界

结论：随机变量均值 趋近 期望均值

$$\dfrac{1}{n}\sum\limits_{i=1}^{n}X_i\;\xrightarrow{P} \;\dfrac{1}{n}\sum\limits_{i=1}^{n}EX_i$$

• 伯努利大数定律

条件：n 重伯努利实验（抛硬币 n 次）

结论：频率 趋近 概率

$$\dfrac{\mu_n}{n}\;\xrightarrow{P}\;p$$

• 辛钦大数定律

条件：独立同分布（同一实验做 n 次），数学期望存在

结论：均值 趋近 数学期望（把切比雪夫大数定律的变量序列代入同一实验）

$$\dfrac{1}{n}\sum\limits_{i=1}^{n}X_i\;\xrightarrow{P} \;\mu$$

# 中心极限定理

• 列维 - 林德伯格定理

条件：独立同分布，期望方差存在（同一实验做 n 次）

结论：随机变量和 趋近正态分布 $N(n\mu,\;n\sigma^2)$

# 特殊函数

# Gamma 函数

$$\Gamma(\alpha)=\int_{0}^{+\infty}x^{\alpha-1}e^{-x}dx\;\text{(}\alpha>0\text{)}$$

它有性质：

$$\Gamma(\alpha + 1) = \alpha\Gamma(\alpha)$$

特殊值：

$$\begin{align*} &\Gamma(1) \!\!\!&=\quad& 1\\ &\Gamma(\frac1 2) \!\!\!&=\quad& \sqrt{\pi} \end{align*}$$

可得对正整数$n$, 有:

$$\Gamma(n) = (n-1)!$$

# B 函数

$$B(s,t)=\int_0^1u^{s-1}(1-u)^{t-1}du\left(s>0,\;t>0\right)$$

和$\Gamma$ 函数的关系:

$$B(s,t)=\frac{\Gamma(s)\Gamma(t)}{\Gamma(s+t)}$$

若$s$ 和$t$ 都是正整数, 则:

$$B(s,t)=\frac{(s-1)!(t-1)!}{(s+t-1)!}$$

同样的，引入特殊分布$B$ 分布，其概率密度函数$pdf$：

$$f(x;\alpha, \beta) = \frac{1}{B(\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1}$$

数学期望和方差为：

$$E(X) = \frac \alpha {\alpha + \beta}\\\\ Var(X) = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$$