概率论与数理统计部分

第一章 随机事件与概率

1. 事件的运算律

• 交换律：$A \cup B = B \cup A$；$A \cap B = B \cap A$
• 德·摩根律（对偶律）：$\overline{A \cup B} = \overline{A} \cap \overline{B}$，$\overline{A \cap B} = \overline{A} \cup \overline{B}$

2. 概率五大计算公式

1. 加法公式 $P(A \cup B) = P(A) + P(B) - P(AB)$ $P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(BC) - P(AC) + P(ABC)$
2. 乘法公式 若$P(A)>0$，则$P(AB) = P(B|A)P(A)$；若$P(B)>0$，则$P(AB) = P(A|B)P(B)$ 若$P(AB)>0$，则$P(ABC) = P(C|AB)P(B|A)P(A) = P(C|AB)P(A|B)P(B)$
3. 全概率公式 $P(A) = \sum_{i=1}^{n} P(A|B_i)P(B_i)$ 其中$B_iB_j = \varnothing(i \neq j)$，$\bigcup_{i=1}^{n} B_i = \Omega$
4. 贝叶斯公式 $P(B_j|A) = \frac{P(A|B_j)P(B_j)}{\sum_{i=1}^{n} P(A|B_i)P(B_i)}$ 其中$B_iB_j = \varnothing(i \neq j)$，$\bigcup_{i=1}^{n} B_i = \Omega$ 【注】上述公式中事件$B_i$的个数可以是可列个。

3. 事件的独立性

1. 两个事件独立 $A$与$B$独立$\Leftrightarrow P(AB) = P(A)P(B)$
2. 三个事件相互独立 $A,B,C$相互独立$\Leftrightarrow\begin{cases}P(AB)=P(A)P(B),\\P(BC)=P(B)P(C),\\P(AC)=P(A)P(C),\\P(ABC)=P(A)P(B)P(C).\end{cases}$

4. 独立的性质与结论

1. 若事件$A,B$相互独立，则$A$与$\overline{B}$，$\overline{A}$与$B$，$\overline{A}$与$\overline{B}$也相互独立。
2. 独立的等价说法：若0<P(A)&lt;1，则 $\begin{aligned}事件A,B独立 &\Leftrightarrow P(AB)=P(A)P(B)\\ &\Leftrightarrow P(B)=P(B|A)\\ &\Leftrightarrow P(B)=P(B|\overline{A})\\ &\Leftrightarrow P(B|A)=P(B|\overline{A}).\end{aligned}$
3. 若$A_1,A_2,\dots,A_m,B_1,B_2,\dots,B_n$相互独立，则$f(A_1,A_2,\dots,A_m)$与$g(B_1,B_2,\dots,B_n)$也相互独立，其中$f(\cdot)$，$g(\cdot)$分别表示对相应事件作任意事件运算。
4. 若$P(A)=0$或$P(A)=1$，则$A$与任何事件$B$都相互独立。

5. 独立、互斥、互逆的关系

1. $A$与$B$互逆$\Rightarrow A$与$B$互斥，但反之不一定成立；
2. $A$与$B$互斥（或互逆）且均为非零概率事件$\Rightarrow A$与$B$不独立；
3. $A$与$B$相互独立且均为非零概率事件$\Rightarrow A$与$B$不互斥。 【注】一般情况下，独立和互斥无关，独立推不出互斥、互斥也推不出独立。

6. 利用最值关系求概率

1. $\{\max\{X,Y\} \leq a\} = \{X \leq a\} \cap \{Y \leq a\}$
2. $\{\max\{X,Y\} > a\} = \{X > a\} \cup \{Y > a\}$
3. $\{\min\{X,Y\} \leq a\} = \{X \leq a\} \cup \{Y \leq a\}$
4. $\{\min\{X,Y\} > a\} = \{X > a\} \cap \{Y > a\}$
5. $\{\max\{X,Y\} \leq a\} \subseteq \{\min\{X,Y\} \leq a\}$
6. $\{\min\{X,Y\} > a\} \subseteq \{\max\{X,Y\} > a\}$

第二章 随机变量及其分布

1. 分布函数的性质

1. 非负性：$0 \leq F(x) \leq 1$
2. 规范性：$F(-\infty)=0$，$F(+\infty)=1$
3. 单调不减性：对于任意$x_1<x_2$，有$F(x_1) \leq F(x_2)$
4. 右连续性：$F(x_0+0)=F(x_0)$

2. 密度函数的性质

1. 非负性：f(x) \geq 0(-\infty<x&lt;+\infty)
2. 规范性：$\int_{-\infty}^{+\infty} f(x)dx = 1$
3. 对于任意实数$a$和$b(a<b)$，有$P\{a<X \leq b\} = \int_{a}^{b} f(x)dx$
4. 对于连续型随机变量$X$，有$P\{X=x\}=0$，对$\forall x \in \mathbb{R}$成立。
5. 连续型随机变量的分布函数$F(x)$是连续函数。
6. 在$f(x)$的连续点处，有$F'(x)=f(x)$。

3. 常用分布（离散型）

1. 0-1分布：$X \sim B(1,p)$ $P(X=k)=p^k(1-p)^{1-k},(k=0,1)$ $EX=p$，$DX=p(1-p)$
2. 二项分布：$X \sim B(n,p)$ $P(X=k)=C_n^k p^k(1-p)^{n-k},(k=0,1,\dots,n)$ $EX=np$，$DX=np(1-p)$
3. 泊松分布：$X \sim P(\lambda)(\lambda>0)$ $P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},(k=0,1,2\cdots)$ $EX=\lambda$，$DX=\lambda$
4. 几何分布：$X \sim G(p)$ P(X=k)=p(1-p)^{k-1},(0<p&lt;1,k=1,2,\dots) $EX=\frac{1}{p}$，$DX=\frac{1-p}{p^2}$
5. 超几何分布：$X \sim H(N,M,n)$ $P(X=k)=\frac{C_M^k C_{N-M}^{n-k}}{C_N^n},(k=0,1,\dots,\min\{n,M\})$

4. 常用分布（连续型）

1. 均匀分布：$X \sim U(a,b)$ $f(x)=\begin{cases}\frac{1}{b-a},&a<x<b,\\0,&其他.\end{cases}$ $EX=\frac{a+b}{2}$，$DX=\frac{(b-a)^2}{12}$
2. 指数分布：$X \sim E(\lambda)(\lambda>0)$ $EX=\frac{1}{\lambda}$，$DX=\frac{1}{\lambda^2}$
3. 正态分布

• 一般正态分布：$X \sim N(\mu,\sigma^2)$ f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},(-\infty<x&lt;+\infty,\sigma>0) $EX=\mu$，$DX=\sigma^2$
• 标准正态分布：$X \sim N(0,1)$ \varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}(-\infty<x&lt;+\infty) 性质：$\Phi(-x)=1-\Phi(x)$；$\Phi(0)=\frac{1}{2}$；$P\{|X| \leq a\}=2\Phi(a)-1$ 上$\alpha$分位点：设$X \sim N(0,1)$，对于给定的\alpha(0&lt;\alpha&lt;1)，若$u_{\alpha}$满足$P\{X>u_{\alpha}\}=\alpha$，则称$u_{\alpha}$为标准正态分布的上$\alpha$分位点。
• 标准正态分布与一般正态分布的关系：正态分布$X \sim N(\mu,\sigma^2)$通过线性变换$Z=\frac{X-\mu}{\sigma}$变为标准正态分布。

5. 一维随机变量函数的分布

1. 离散型 若$P(X=x_i)=p_i$，$Y=g(X)$，则$Y$的分布律为$P(Y=g(x_i))=p_i$。
2. 连续型 分布函数法： $F_Y(y)=P(Y \leq y)=P(g(X) \leq y)=\int_{g(x) \leq y} f_X(x)dx$ $f_Y(y)=F_Y'(y)$

第三章 多维随机变量及其分布

1. 联合函数的概念与性质

1. 定义 二维随机变量$(X,Y)$的联合分布函数F(x,y)=P\{X \leq x,Y \leq y\}(-\infty<x&lt;+\infty,-\infty<y&lt;+\infty)，表示$\{X \leq x\}$与$\{Y \leq y\}$同时发生的概率。
2. 性质

• 非负性：$\forall x,y \in \mathbb{R}$，$0 \leq F(x,y) \leq 1$
• 规范性：$F(-\infty,y)=0$，$F(x,-\infty)=0$，$F(-\infty,-\infty)=0$，$F(+\infty,+\infty)=1$
• 单调不减性：$F(x,y)$分别关于$x$和$y$单调不减
• 右连续性：$F(x,y)=F(x+0,y)$，$F(x,y)=F(x,y+0)$

2. 二维离散型随机变量及其分布

1. 定义 若$(X,Y)$可能取值为有限对或可列无穷多对实数，则称$(X,Y)$为二维离散型随机变量。
2. 联合分布律 $P(X=x_i,Y=y_j)=p_{ij},(i,j=1,2,\dots)$
3. 边缘分布律 $P\{X=x_i\}=\sum_{j=1}^{+\infty} p_{ij}=p_{i\cdot}(i=1,2,\dots)$ $P\{Y=y_j\}=\sum_{i=1}^{+\infty} p_{ij}=p_{\cdot j}(j=1,2,\dots)$
4. 条件分布律

• 给定$Y=y_j$且$P\{Y=y_j\}>0$，$P\{X=x_i|Y=y_j\}=\frac{p_{ij}}{p_{\cdot j}}$
• 给定$X=x_i$且$P\{X=x_i\}>0$，$P\{Y=y_j|X=x_i\}=\frac{p_{ij}}{p_{i\cdot}}$

3. 二维连续型随机变量及其分布

1. 定义 若存在非负可积二元函数$f(x,y)$，使得$F(x,y)=\int_{-\infty}^{x}\int_{-\infty}^{y} f(u,v)dudv$，则称$(X,Y)$为二维连续型随机变量，$f(x,y)$为联合概率密度。
2. 性质

• f(x,y) \geq 0(-\infty<x,y&lt;+\infty)
• $\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} f(x,y)dxdy=1$
• $P\{(X,Y) \in D\}=\iint_D f(x,y)d\sigma$
• $f(x,y)$连续处，$f(x,y)=\frac{\partial^2 F(x,y)}{\partial x \partial y}$

3. 边缘密度函数 $f_X(x)=\int_{-\infty}^{+\infty} f(x,y)dy$；$f_Y(y)=\int_{-\infty}^{+\infty} f(x,y)dx$
4. 条件密度函数

• $f_Y(y)>0$时，$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$
• $f_X(x)>0$时，$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$

4. 两个常见的二维连续型分布

1. 二维均匀分布

• 定义：设$G$为平面有界区域，面积为$|G|$，则 $f(x,y)=\begin{cases}\frac{1}{|G|},&(x,y) \in G,\\0,&(x,y) \notin G\end{cases}$
• 性质：矩形区域上的二维均匀分布，分量$X,Y$独立且分别服从一维均匀分布。

2. 二维正态分布

• 定义：$(X,Y) \sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)$ $\begin{aligned}f(x,y)=&\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left\{\frac{-1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2}-\right.\right.\\&\left.\left.\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\right]\right\}\end{aligned}$
• 性质
  1. $X \sim N(\mu_1,\sigma_1^2)$，$Y \sim N(\mu_2,\sigma_2^2)$
  2. $X,Y$独立$\Leftrightarrow \rho=0$
  3. 非零线性组合服从一维正态分布
  4. 线性变换后仍服从二维正态分布

5. 随机变量的独立性

1. 定义

• 分布函数：$F(x,y)=F_X(x)F_Y(y)$
• 离散型：$p_{ij}=p_{i\cdot}p_{\cdot j}$
• 连续型：$f(x,y)=f_X(x)f_Y(y)$

2. 性质

• $X,Y$独立，则$f(X)$与$g(Y)$独立
• 多组独立随机变量的函数仍独立

6. 两个随机变量简单函数的概率分布

1. 离散型 $P(Z=z_k)=\sum_{g(x_i,y_j)=z_k} p_{ij}$
2. 连续型

• 分布函数法：$F_Z(z)=P\{g(X,Y) \leq z\}=\iint_{g(x,y) \leq z} f(x,y)dxdy$
• 卷积公式（$Z=X+Y$）：$f_Z(z)=\int_{-\infty}^{+\infty} f_X(x)f_Y(z-x)dx$（$X,Y$独立）

第四章 随机变量的数字特征

1. 一维随机变量的数学期望

(1) 离散型

设随机变量$X$的分布律为$P\{X=x_i\}=p_i(i=1,2,\cdots)$，若级数$\sum_{i=1}^{\infty}x_ip_i$绝对收敛，则称$EX=\sum_{i=1}^{\infty}x_ip_i$为随机变量$X$的数学期望。

(2) 连续型

设连续型随机变量$X$的概率密度为$f(x)$，若积分$\int_{-\infty}^{+\infty}xf(x)dx$绝对收敛，则称$EX=\int_{-\infty}^{+\infty}xf(x)dx$为$X$的数学期望。

(3) 随机变量函数$Y=g(X)$的期望

设$X$是一个随机变量，$g(x)$为连续实函数，令$Y=g(X)$。

1. 离散型：若$X$的分布律为$P\{X=x_i\}=p_i(i=1,2,\cdots)$，则$EY=E[g(X)]=\sum_{i=1}^{\infty}g(x_i)p_i$。
2. 连续型：若$X$的密度函数为$f_X(x)$，则$EY=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f_X(x)dx$。

2. 二维随机变量的数学期望

(1) 离散型

设$(X,Y)$的概率分布为$P\{X=x_i,Y=y_j\}=p_{ij}$，则$EX=\sum_{i}x_ip_{i\cdot}=\sum_{i}\sum_{j}x_ip_{ij}$，$EY=\sum_{j}y_jp_{\cdot j}=\sum_{i}\sum_{j}y_jp_{ij}$。

(2) 连续型

设$(X,Y)$的联合概率密度为$f(x,y)$，则$EX=\int_{-\infty}^{+\infty}xf_X(x)dx=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xf(x,y)dxdy$，$EY=\int_{-\infty}^{+\infty}yf_Y(y)dy=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}yf(x,y)dxdy$。

(3) 随机变量函数$Z=g(X,Y)$的期望

设$(X,Y)$为二维随机变量，$g(x,y)$为二元连续实函数，令$Z=g(X,Y)$。

1. 离散型：若$(X,Y)$的联合分布律为$P\{X=x_i,Y=y_j\}=p_{ij}(i,j=1,2,\cdots)$，则$EZ=E[g(X,Y)]=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}g(x_i,y_j)p_{ij}$。
2. 连续型：若$(X,Y)$的联合密度函数为$f(x,y)$，则$EZ=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)dxdy$。

3. 最值的数学期望

若$X_i(i=1,2,\cdots,n;n\geq2)$独立同分布，其分布函数为$F(x)$，概率密度为$f(x)$，记$Y=\min\{X_1,X_2,\cdots,X_n\}$，$Z=\max\{X_1,X_2,\cdots,X_n\}$，则 $F_Y(y)=1-[1-F(y)]^n,f_Y(y)=n[1-F(y)]^{n-1}f(y)\Rightarrow EY=\int_{-\infty}^{+\infty}yf_Y(y)dy;$ $F_Z(z)=[F(z)]^n,f_Z(z)=n[F(z)]^{n-1}f(z)\Rightarrow EZ=\int_{-\infty}^{+\infty}zf_Z(z)dz.$

4. 数学期望的性质

1. $E(C)=C$，$E(EX)=EX$；
2. $E(CX)=CEX$；
3. $E(X\pm Y)=EX\pm EY$；
4. 若$X$与$Y$相互独立，则有$E(XY)=EXEY$。

5. 方差

(1) 随机变量$X$的方差定义

设$X$是一个随机变量，如果$E(X-EX)^2$存在，则称$DX=E(X-EX)^2$为$X$的方差，称$\sqrt{DX}$为标准差或均方差。

(2) 方差的计算公式

$DX=EX^2-(EX)^2$

(3) 方差的性质

1. $D(C)=0$，$D[E(X)]=0$，$D[D(X)]=0$；
2. $D(CX)=C^2DX$；
3. $D(C_1X+C_2)=C_1^2D(X)$；
4. $D(X\pm Y)=DX+DY\pm2\text{cov}(X,Y)$；
5. 若$X,Y$相互独立，则$D(X\pm Y)=DX+DY$。

6. 常用分布的$EX,DX$

1. 0-1分布：$EX=p$，$DX=p(1-p)$；
2. 二项分布$X\sim B(n,p)$：$EX=np$，$DX=np(1-p)$；
3. 泊松分布$X\sim P(\lambda)$：$EX=\lambda$，$DX=\lambda$；
4. 几何分布$X\sim G(p)$：$EX=\frac{1}{p}$，$DX=\frac{1-p}{p^2}$；
5. 均匀分布$X\sim U(a,b)$：$EX=\frac{a+b}{2}$，$DX=\frac{(b-a)^2}{12}$；
6. 指数分布$X\sim E(\lambda)$：$EX=\frac{1}{\lambda}$，$DX=\frac{1}{\lambda^2}$；
7. 正态分布$X\sim N(\mu,\sigma^2)$：$EX=\mu$，$DX=\sigma^2$。

7. 亚当夏娃公式

条件期望

1. 离散型$(X,Y)\sim p_{ij}$：$E(X|Y=y)=\sum_{i}x_iP\{X=x_i|Y=y\}$；
2. 连续型$(X,Y)\sim f(x,y)$：$E(X|Y=y)=\int_{-\infty}^{+\infty}xf(x|y)dx$。 同理可定义$E(Y|X=x)$。

条件方差

$D(X|Y)=E(X^2|Y)-[E(X|Y)]^2$

亚当公式

设$(X,Y)$是二维随机变量，且$EX$存在，则$EX=E[E(X|Y)]$。

夏娃公式

$DX=E[D(X|Y)]+D[E(X|Y)]$

8. 协方差

(1) 定义

$\text{cov}(X,Y)=E[(X-EX)(Y-EY)]$

(2) 计算公式

$\text{cov}(X,Y)=EXY-EXEY$

(3) 性质

1. $\text{cov}(X,Y)=\text{cov}(Y,X)$；
2. $\text{cov}(X,X)=DX$；
3. $\text{cov}(aX,bY)=ab\text{cov}(X,Y)$；
4. $\text{cov}(X,C)=0$；
5. $\text{cov}(k_1X_1\pm k_2X_2,Y)=k_1\text{cov}(X_1,Y)\pm k_2\text{cov}(X_2,Y)$；
6. 若$X$与$Y$相互独立，则$\text{cov}(X,Y)=0$。

9. 相关系数

(1) 定义

$\rho_{XY}=\frac{\text{cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}$

(2) 相关系数的性质

1. $|\rho_{XY}|\leq1$；
2. $|\rho_{XY}|=1\Leftrightarrow$存在常数$a,b$且$a\neq0$，使$P\{Y=aX+b\}=1$；当$a>0$时，$\rho_{XY}=1$；当a&lt;0时，$\rho_{XY}=-1$。

(3) 不相关的等价说法

$\rho_{XY}=0\Leftrightarrow\text{cov}(X,Y)=0\Leftrightarrow EXY=EXEY\Leftrightarrow D(X\pm Y)=DX+DY$

(4) 不相关与独立的关系

1. $X,Y$相互独立$\Rightarrow X$与$Y$不相关，反之不成立；
2. 若$(X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)$，则$X$与$Y$独立和$X$与$Y$不相关等价。

10. 切比雪夫不等式

设随机变量$X$的期望$EX$，方差$DX$都存在，则对任意$\varepsilon>0$均有 $P\{|X-EX|\geq\varepsilon\}\leq\frac{DX}{\varepsilon^2}$ 或 P\{|X-EX|&lt;\varepsilon\}\geq1-\frac{DX}{\varepsilon^2}

第五章 大数定律与中心极限定理

1. 大数定律

(1) 依概率收敛

对于随机变量序列$X_1,X_2,\cdots,X_n,\cdots$和常数$a$，如果对于任意给定的正数$\varepsilon$，有 \lim_{n\to\infty}P\{|X_n-a|&lt;\varepsilon\}=1 则称随机变量序列$X_1,X_2,\cdots,X_n,\cdots$依概率收敛于$a$，记作$X_n\stackrel{P}{\to}a$。

(2) 切比雪夫大数定律

设随机变量$X_1,X_2,\cdots,X_n,\cdots$相互独立，数学期望$EX_i$和方差$DX_i$均存在，且方差$DX_i$有公共上界，即存在常数$C$，使$DX_i\leq C(i=1,2,\cdots)$，则对于任意给定的正数$\varepsilon$，总有 \lim_{n\to\infty}P\left\{\left|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nEX_i\right|&lt;\varepsilon\right\}=1

(3) 伯努利大数定律

设$n_A$是$n$次独立重复试验中事件$A$发生的次数，$p$是事件$A$在每次试验中发生的概率，则对于任意正数$\varepsilon>0$，有 \lim_{n\to\infty}P\left\{\left|\frac{n_A}{n}-p\right|&lt;\varepsilon\right\}=1

(4) 辛钦大数定律

设随机变量$X_1,X_2,\cdots,X_n,\cdots$相互独立，服从相同的分布，具有数学期望$EX_i=\mu(i=1,2,\cdots)$，则对于任意给定的正数$\varepsilon$，总有 \lim_{n\to\infty}P\left\{\left|\frac{1}{n}\sum_{i=1}^nX_i-\mu\right|&lt;\varepsilon\right\}=1

2. 中心极限定理

(1) 列维-林德伯格中心极限定理

设随机变量$X_1,X_2,\cdots,X_n,\cdots$相互独立，服从相同的分布，具有数学期望$EX_i=\mu$和方差$DX_i=\sigma^2>0(i=1,2,\cdots)$，则对于任意实数$x$，有 $\lim_{n\to\infty}P\left\{\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}\leq x\right\}=\Phi(x)$

(2) 棣莫弗-拉普拉斯中心极限定理

设随机变量$X_n$服从参数为n,p(0<p&lt;1,n=1,2,\cdots)的二项分布，即$X_n\sim B(n,p)$，则对于任意实数$x$，有 $\lim_{n\to\infty}P\left\{\frac{X_n-np}{\sqrt{np(1-p)}}\leq x\right\}=\Phi(x)$

第六章 数理统计的基本概念

1. 重要统计量

(1) 样本均值

$\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i,\text{观测值}\overline{x}=\frac{1}{n}\sum_{i=1}^nx_i$

(2) 样本方差

$S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2,\text{观测值}s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2,ES^2=\sigma^2$

(3) 样本标准差

$S=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2},\text{观测值}s=\sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2}$

(4) 样本$k$阶原点矩

$A_k=\frac{1}{n}\sum_{i=1}^nX_i^k(k=1,2,\cdots)$

(5) 样本$k$阶中心矩

$b_k=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^k(k=2,3,\cdots)$

(6) 顺序统计量

设总体$X$的分布函数为$F(x)$，$X_1,X_2,\cdots,X_n$是来自总体$X$的样本，则 $F_{X_{(n)}}(x)=P\{\max(X_1,X_2,\cdots,X_n)\leq x\}=[F(x)]^n$ $F_{X_{(1)}}(x)=P\{\min(X_1,X_2,\cdots,X_n)\leq x\}=1-[1-F(x)]^n$

2. 三大分布

(1) $\chi^2$分布

1. 典型模式：设随机变量$X_1,X_2,\cdots,X_n$相互独立，且均服从标准正态分布$N(0,1)$，则随机变量$\chi^2=X_1^2+X_2^2+\cdots+X_n^2$服从自由度为$n$的$\chi^2$分布，记作$\chi^2\sim\chi^2(n)$。
2. 性质：设$X\sim\chi^2(n_1)$，$Y\sim\chi^2(n_2)$，且$X$和$Y$相互独立，则$X+Y\sim\chi^2(n_1+n_2)$。
3. 数字特征：$E\chi^2=n$，$D\chi^2=2n$。
4. 上$\alpha$分位点$\chi^2_\alpha(n)$：设$\chi^2\sim\chi^2(n)$，对于任给定的\alpha(0&lt;\alpha&lt;1)，称满足条件$P\{\chi^2>\chi^2_\alpha(n)\}=\alpha$的点$\chi^2_\alpha(n)$为$\chi^2(n)$的上$\alpha$分位点。

(2) $t$分布

1. 典型模式：设随机变量$X\sim N(0,1)$，$Y\sim\chi^2(n)$，且$X$和$Y$相互独立，则随机变量$t=\frac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布，记作$t\sim t(n)$。
2. 性质：$t$分布的概率密度$f(x)$是偶函数，且$\lim_{n\to\infty}f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$，即当$n$充分大时，$t(n)$分布近似于$N(0,1)$分布。
3. 上$\alpha$分位点$t_\alpha(n)$：设$t\sim t(n)$，对于任给定的\alpha(0&lt;\alpha&lt;1)，称满足条件$P\{t>t_\alpha(n)\}=\alpha$的点$t_\alpha(n)$为$t(n)$的上$\alpha$分位点。

(3) $F$分布

1. 典型模式：设随机变量$X\sim\chi^2(m)$，$Y\sim\chi^2(n)$，且$X$和$Y$相互独立，则随机变量$F=\frac{X/m}{Y/n}$服从自由度为$(m,n)$的$F$分布，记作$F\sim F(m,n)$。
2. 性质：若$F\sim F(m,n)$，则$\frac{1}{F}\sim F(n,m)$。
3. 上$\alpha$分位点$F_\alpha(m,n)$：设$F\sim F(m,n)$，对于任给定的\alpha(0&lt;\alpha&lt;1)，称满足条件$P\{F>F_\alpha(m,n)\}=\alpha$的点$F_\alpha(m,n)$为$F(m,n)$的上$\alpha$分位点。

3. 一个正态总体抽样分布的重要结论

设$X_1,X_2,\cdots,X_n$是来自正态总体$X\sim N(\mu,\sigma^2)$的样本，样本均值为$\overline{X}$，样本方差为$S^2$，则有

1. $\overline{X}\sim N\left(\mu,\frac{\sigma^2}{n}\right)$，$\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$；
2. $\overline{X}$与$S^2$相互独立，且$\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$；
3. $\frac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$；
4. $\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\sim\chi^2(n)$。

4. 两个正态总体的抽样分布

设$X\sim N(\mu_1,\sigma_1^2)$，$Y\sim N(\mu_2,\sigma_2^2)$，$X_1,X_2,\cdots,X_{n_1}$和$Y_1,Y_2,\cdots,Y_{n_2}$分别为来自总体$X$和$Y$的样本，且两个样本相互独立，则有

1. $\frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)$；
2. 若$\sigma_1^2=\sigma_2^2$，则$\frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$，其中$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$；
3. $\frac{\frac{1}{\sigma_1^2}\sum_{i=1}^{n_1}(X_i-\mu_1)^2/n_1}{\frac{1}{\sigma_2^2}\sum_{j=1}^{n_2}(Y_j-\mu_2)^2/n_2}\sim F(n_1,n_2)$；
4. $\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1)$。

第七章 参数估计与假设检验

1. 矩估计

(1) 原理：样本的$k$阶原点矩依概率收敛于总体的$k$阶原点矩。 (2) 解题步骤（待估参数为$k$个$\theta_1,\theta_2,\cdots,\theta_k$）

1. 求出总体的$k$阶原点矩$\mu_k=EX^k(k=1,2,\cdots)$；
2. 令样本的$k$阶原点矩$A_k=\frac{1}{n}\sum_{i=1}^n X_i^k$等于总体的$k$阶原点矩，即令$EX^k=\frac{1}{n}\sum_{i=1}^n X_i^k(k=1,2,\cdots)$；
3. 解上面的方程（方程组），得$\theta_i$的矩估计量为$\hat{\theta}_i(X_1,X_2,\cdots,X_n)$，则$\theta_i$的矩估计值为$\hat{\theta}_i(x_1,x_2,\cdots,x_n)$。

【注】当待估参数为1个时，通常令$EX=\frac{1}{n}\sum_{i=1}^n X_i$即可解出$\theta$的矩估计量与相应的矩估计值。

2. 最大似然估计法

(1) $X$为连续型随机变量 设总体$X$的密度函数为$f(x;\theta)$，$X_1,X_2,\cdots,X_n$为取自$X$的样本，则 $L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^n f(x_i;\theta)$ 称为似然函数，$L(x_1,x_2,\cdots,x_n;\theta)$关于$\theta$的最大值点$\hat{\theta}$，称为$\theta$的最大似然估计。

(2) $X$为离散型随机变量 设总体$X$的分布律$P\{X=a_i\}=p(a_i;\theta)\ (i=1,2,\cdots)$，$X_1,X_2,\cdots,X_n$为取自$X$的样本，则$X_1,X_2,\cdots,X_n$的联合分布律 称为似然函数，$L(x_1,x_2,\cdots,x_n;\theta)$关于$\theta$的最大值点$\hat{\theta}$，称为$\theta$的最大似然估计。

【注】上面(1),(2)中的$\theta$可以是多个待估参数$(\theta_1,\theta_2,\cdots,\theta_k)$。

(3) 最大似然估计的解题步骤（待估参数为$k$个$\theta_1,\theta_2,\cdots,\theta_k$）

1. 写出似然函数 $L(x_1,x_2,\cdots,x_n;\theta_1,\theta_2,\cdots,\theta_k)=\prod_{i=1}^n p(x_i;\theta_1,\theta_2,\cdots,\theta_k),\ (\text{离散型})$ $L(x_1,x_2,\cdots,x_n;\theta_1,\theta_2,\cdots,\theta_k)=\prod_{i=1}^n f(x_i;\theta_1,\theta_2,\cdots,\theta_k)\ (\text{连续型})$
2. 取对数$\ln L$；
3. 若$\ln L$对$\theta_1,\theta_2,\cdots,\theta_k$可微，求偏导数$\frac{\partial \ln L}{\partial \theta_i}\ (i=1,2,\cdots,k)$；判断方程组$\frac{\partial \ln L}{\partial \theta_i}=0$是否有解，若有解，则其解即为所求最大似然估计；若无解则要考虑极大似然估计的意义（使似然函数取得最大值），此时，估计值常在$\theta_i$的边界点上达到。

【注】对于只有一个未知参数只需将步骤中求偏导变为一元函数求导即可。

3. 估计量的无偏性、有效性、一致性（相合性）

(1) 无偏性 如果$\theta$的估计量$\hat{\theta}(X_1,X_2,\cdots,X_n)$的数学期望$E\hat{\theta}$存在，且$E\hat{\theta}=\theta$，则称$\hat{\theta}(X_1,X_2,\cdots,X_n)$是未知参数$\theta$的无偏估计量。

(2) 有效性 $\hat{\theta}_1(X_1,X_2,\cdots,X_n)$和$\hat{\theta}_2(X_1,X_2,\cdots,X_n)$都是未知参数$\theta$的无偏估计量，若$D(\hat{\theta}_1)\leq D(\hat{\theta}_2)$，且至少对于某一个$\theta\in\Theta$上式中的不等号成立，则称$\hat{\theta}_1(X_1,X_2,\cdots,X_n)$比$\hat{\theta}_2(X_1,X_2,\cdots,X_n)$更有效。

(3) 一致性（相合性） 若对任意$\varepsilon>0$，有\lim\limits_{n\to\infty} P(|\hat{\theta}-\theta|&lt;\varepsilon)=1，则称$\hat{\theta}$为$\theta$的一致估计量。

4. 区间估计

单正态总体的区间估计 设$X\sim N(\mu,\sigma^2)$，$X_1,X_2,\cdots,X_n$为随机样本，样本均值为$\overline{X}$，样本方差为$s^2$。

5. 假设检验

(1) 假设检验的两类错误

1. 第一类错误（弃真错误） 当$H_0$为真时，而样本值却落入了拒绝域，选择拒绝原假设$H_0$，记犯此类错误的概率$\alpha$，即 $P\{\text{否定}H_0|H_0\text{为真}\}=\alpha$

2. 第二类错误（纳伪错误） 当$H_0$为假时，而样本值不在拒绝域，选择接受原假设$H_0$，记犯此类错误的概率$\beta$，即 $P\{\text{接受}H_0|H_0\text{为假}\}=\beta$

(2) 显著水平为$\alpha$的单正态总体均值和方差的假设检验