序

这是北航概率与数理模型概要。

概統，
終結。

概率论的基本概念

随机试验 $E$
- 可以在相同条件下重复进行
- 每次试验结果可能不止一个，但能事先确定试验的所有可能结果
- 每次试验之前无法确定哪一个结果会出现
样本空间：随机试验 $E$ 的所有可能结果组成的集合 $S$
样本点： $S$ 中的每个元素，即 $E$ 的每个结果，称为样本点
随机事件：随机试验 $E$ 的样本空间 $S$ 的可列的子集，简称事件
- 此子集的一个样本点发生时，表示事件发生
- 基本事件：由一个样本点组成的事件
- 必然事件：样本空间 $S$ 是自身的子集，它必然发生
- 不可能事件： $\varnothing$ 不包含任何样本点，不可能发生
事件运算
- 包含： $A\subset B$
- 相等： $A = B$
- 和事件： $A \cup B$
- 积事件： $A \cap B$
- 差事件： $A - B$
- 互斥事件： $A\cap B=\varnothing$
- 对立事件： $A\cup B \;\text{and}\; A\cap B=\varnothing$ ，事件 $A$ 的对立事件记为 $\bar{A}$
- 交换律
- 结合律
- 分配律
- 德摩根律
- 更多……

频率概率

频率：相同条件下 $n$ 次实验发生了 $n_A$ 次事件 $A$ （频次为 $n_A$ ），则事件 $A$ 的频率为
$f_n(A)=\frac{n_A}{n}$
- 一定意义下， $n \rightarrow \infty, f_n(A) \rightarrow P(A)$ ，详参伯努利大数定律
概率： $E$ 是随机试验， $S$ 是其样本空间， $E$ 的每一个事件 $A$ ，赋予其一个实数 $P(A)$ ，称为事件 $A$ 的概率
- 非负性： $\forall A, P(A) \ge 0$
- 规范性：对于必然事件 $S$ ，有 $P(S)=1$
- 可列可加性：对于一系列互斥事件 $A_1, A_2,...$ ，有 $P(A_1\cup A_2\cup ...) = P(A_1) + P(A_2) + ...$
概率的性质
- $P(\varnothing)=0$
- $P(\bar{A})=1-P(A)$
- $P(A\cup B)=P(A)+P(B)-P(AB)$

古典概型

试验的样本空间包含有限个元素
每个基本事件发生的可能性相同
古典概型中事件 $A$ 包含 $k$ 个基本事件，样本空间 $S$ 中包含 $n$ 个基本事件，则其概率为：

P(A)=\frac{k}{n}

条件概率

设 $A$ ， $B$ 是两个事件，且 $P(A) > 0$ ，则称：

P(B|A)=\frac{P(AB)}{P(A)}

为事件 $A$ 发生的条件下事件 $B$ 发生的条件概率

条件概率的乘法公式

P(A)P(B|A)=P(AB)

多个事件的乘法公式

P(ABC)=P(C|AB)P(B|A)P(A)

全概率公式：设试验 $E$ 的样本空间为 $S$ ， $A$ 是 $E$ 的事件， $B_1$ ， $B_2$ ，… $B_n$ 是 $S$ 的一个划分，且 $P(B_i) > 0$ ，则

P(A) = P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+...+P(A|B_n)P(B_n)

贝叶斯公式

P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A)}

独立性

设 $A$ , $B$ 是两事件，如果满足等式：

P(AB)=P(A)P(B)

则称事件 $A$ , $B$ 相互独立

若事件 $A$ , $B$ 相互独立，则：

P(B|A)=P(B)

若事件 $A$ , $B$ 相互独立，则 $A$ 与 $\bar B$ ， $\bar A$ 与 $B$ ， $\bar A$ 与 $\bar B$ 相互独立

随机变量及其分布

随机变量：设样本空间为 $S=\{e\}$ ^[1]， $X=X(e)$ 是定义在 $S$ 上的单值函数，则称 $X=X(e)$ 为随机变量

离散型随机变量及其分布

离散型随机变量的分布律：设随机变量 $X$ 所有可能的取值为 $x_k$ ，则

P\{X=x_k\}=p_k

亦可以用表格表示

0 - 1 分布
- 分布律
$P\{X=k\}=p^k(1-p)^{1-k}$

X	0	1
$p_k$	1-p	p

伯努利试验：试验 $E$ 只有 $A$ 和 $\bar A$ 两个结果
n 重伯努利试验：将 $E$ 独立重复试验 n 次
二项分布 $X\sim B(n, p)$
- 分布律
$P\{X=k\}=\text{C}_n^k p^k(1-p)^{1-k}$
泊松分布 $X\sim \pi(\lambda)$
- 分布律
$P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!}$
- 泊松分布近似二项分布：取参数 $\lambda=np$ ，得到
$\text{C}_n^k p^k(1-p)^{1-k}\approx \frac{\lambda^ke^{-\lambda}}{k!}$

随机变量的分布函数

设 $X$ 是随机变量， $x$ 是任意实数，函数

F(x)=P\{X\le x\}, \quad -\infty<x<\infty

称为 $X$ 的分布函数

$P\{x_1<x\le x_2\}=F(x_2)-F(x_1)$
$P\{x>a\}=1-F(a)$
$P\{x=a\}=F(a)-F(a-0)$
$F(x)$ 不减
$0\le F(x) \le 1$ $0 \leq F (x) \leq 1$
- $F(-\infty)=0,\;F(\infty)=1$
$F(x)$ 右连续

连续型随机变量及其概率密度

对于随机变量 $X$ ，存在非负可积函数 $f(x)$ 使得对于任意实数有

F(x)=\int_{-\infty}^xf(t)\text{d}t

则称 $X$ 是连续型随机变量， $f(x)$ 称为 $X$ 的概率密度函数

$f(x)\ge 0$
$\int_{-\infty}^\infty f(x)\text{d}x=1$
$P\{x_1<X\le x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(x)\text{d}x$
若 $f(x)$ 在 $x$ 处连续，则 $F'(x)=f(x)$
均匀分布 $X\sim U(a,b)$
- 概率密度
$f(x)= \left \{ \begin{matrix} \begin{aligned} & \frac{1}{b-a},\quad a<x<b \\ & 0,\quad \text{else} \end{aligned} \end{matrix} \right.$
指数分布 $X\sim E(\lambda)$
- 概率密度
$f(x)= \left \{ \begin{matrix} \begin{aligned} & \lambda e^{-\lambda x},\quad x>0 \\ & 0,\quad \text{else} \end{aligned} \end{matrix} \right.$
正态分布高斯分布 $X\sim N(\mu,\sigma^2)$
- 概率密度
$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\quad -\infty<x<\infty$
- $\mu=0,\sigma=1$ 时称为标准正态分布，分布函数记为 $\Phi(x)$
- 引理：若随机变量 $X\sim N(\mu,\sigma^2)$ ，则
$Z=\frac{X-\mu}{\sigma}\sim N(0,1)$
- $X$ 服从正态分布，则 $X$ 的线性函数 $Y=aX+b$ 也服从正态分布
定理：设随机变量 $X$ 有概率密度 $f_X(x)$ ， $-\infty<x<\infty$ ，设 $g(x)$ 处处可导且恒有 $g'(x)>0$ （或 $g'(x)<0$ ），则 $Y=g(X)$ 是随机变量，且

f_Y(y)= \left \{ \begin{matrix} \begin{aligned} & f_X[h(y)]|h'(y)|,\quad \alpha<y<\beta\\ & 0,\quad \text{else} \end{aligned} \end{matrix} \right.

其中 $\alpha,\beta$ 是 $y$ 的定义域下界和上界， $h(y)$ 是 $g(x)$ 的反函数

多维随机变量及其分布

联合分布

联合分布函数

F(x,y)=P\{X\le x,Y\le y\}

二维离散型随机变量
- 联合分布律
$P\{X=x_i,Y=y_j\}=p_{ij}$
亦可以用表格表示
二维连续型随机变量
- 联合概率密度
$F(x,y)=\int_{-\infty}^y\int_{-\infty}^x f(u,v)\text{d}u\text{d}v$
则 $f(x,y)$ 称为联合概率密度
- $f(x,y) \ge 0$
- $\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f(x,y)\text{d}x\text{d}y = 1$
- 点 $(X,Y)$ 落在平面 $xOy$ 上 $G$ 区域的概率是 $p=\iint\limits_G f(x,y)\text{d}x\text{d}y$
- $f(x,y)$ 在 $(x,y)$ 处连续，则 $\frac{\partial^2F(x,y)}{\partial x\partial y}=f(x,y)$

边缘分布

边缘分布函数

\begin{aligned} & F_X(x)=P\{X\le x\}=F(x,\infty) \\ & F_Y(y)=P\{Y\le y\}=F(\infty,y) \\ \end{aligned}

二维离散型随机变量
- 边缘分布律
$\begin{aligned} & P\{X=x_i\}=\sum_{j=1}^{\infty}p_{ij}\\ & P\{Y=y_j\}=\sum_{i=1}^{\infty}p_{ij}\\ \end{aligned}$
二维连续型随机变量
- 边缘概率密度
$\begin{aligned} & f_X(x)=\int_{-\infty}^{\infty}f(x,y)\text{d}y\\ & f_Y(y)=\int_{-\infty}^{\infty}f(x,y)\text{d}x\\ \end{aligned}$

条件分布

条件分布函数

F_{X|Y}(x|y)=P\{X\le x | Y=y\}

二维离散型随机变量
- 条件分布律
$\begin{aligned} & P\{X=x_i|Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{p_{ij}}{p_{\cdot j}} \\ & P\{Y=y_j|X=x_i\}=\frac{P\{X=x_i,Y=y_j\}}{P\{X=x_i\}}=\frac{p_{ij}}{p_{i\cdot}} \\ \end{aligned}$
二维连续型随机变量
- 条件概率密度：在 $Y=y$ 的条件下 $X$ 的条件概率密度为
$f_{X|Y}=\frac{f(x,y)}{f_Y(y)}$
- 条件 = 联合 / 边缘

相互独立的随机变量

$F(x,y)$ 是联合分布函数， $F_X(x)$ 和 $F_Y(y)$ 是边缘分布函数，若对于所有 $x,y$ 满足

F_X(x)F_Y(y)=F(x,y)

则 $X$ 和 $Y$ 相互独立

二维离散型随机变量

P\{X=x_i,Y=y_i\}=P\{X=x_i\}P\{Y=y_i\}

二维连续型随机变量

f(x,y)=f_X(x)f_Y(y)

两个随机变量的函数的分布

$Z=X+Y$

f_{X+Y}(z)=\int_{-\infty}^{\infty}f(z-y,y)\text{d}y\quad \text{or} \quad \int_{-\infty}^{\infty}f(x,z-x)\text{d}x

若 $X,Y$ 相互独立，则

f_{X+Y}(z)=\int_{-\infty}^{\infty}f_X(z-y)f_Y(y)\text{d}y\quad \text{or} \quad \int_{-\infty}^{\infty}f_X(x)f_Y(z-x)\text{d}x

这被称为 $f_X$ 和 $f_Y$ 的卷积公式，记为 $f_X * f_Y$

有限个相互独立的正态分布的随机变量的线性组合仍然服从正态分布
$Z=\frac{Y}{X}$ 的分布
$Z=XY$ 的分布
$Z=\max\{X,Y\}$ $Z = max {X, Y}$ 与 $Z=\min\{X,Y\}$ $Z = min {X, Y}$ 的分布（ $X,Y$ $X, Y$ 相互独立）
- $F_{\max}(z)=F_X(z)F_Y(z)$
- $F_{\min}(z)=1-[1-F_X(z)][1-F_Y(z)]$
- 以上结果可以推广到 $n$ 个独立同分布的随机变量
$X$ 的分布函数是 $F_X(x)$ （严格单调递增且连续，即存在唯一反函数 $F^{-1}_X(x)$ ）， $Y=F_X(X)$ 是复合随机变量，则当 $y\in(0,1)$ 时，

\begin{aligned} F_Y(y) & =P\{Y\le y\} \\ & = P\{F_X(X)\le y\} \\ & = P\{X \le F^{-1}_X(y)\} \\ & = F_X[F_X^{-1}(y)] \\ & = y \end{aligned}

随机变量的数字特征

数学期望

数学期望记为 $E(X)$
离散型随机变量

E(X)=\sum_{k=1}^\infty x_kp_k

连续型随机变量

E(X)=\int_{-\infty}^\infty xf(x)\text{d}x

$X\sim B(n,p) \quad E(X)=np$
$X\sim N(\mu,\sigma^2) \quad E(X)=\mu$
$X\sim \pi(\lambda) \quad E(X)=\lambda$
$X\sim U(a,b) \quad E(X)=\frac{a+b}{2}$
$X\sim E(\lambda) \quad E(X)=\frac{1}{\lambda}$
性质
- $C$ 是常数， $E(C)=0$
- $E(aX+C)=aE(X)+C$
- $E(X+Y)=E(X)+E(Y)$ ，可以推广到任意有限个随机变量的和的情况
- $X,Y$ 相互独立，则 $E(XY)=E(X)E(Y)$ ，此条逆命题不成立
定理
- 若 $X$ 是离散型随机变量， $g(x)$ 是连续函数， $Y=g(X)$ 则
$E(Y)=\sum_{k=1}^\infty g(x_k)p_k$
- 若 $X$ 是连续型随机变量， $g(x)$ 是连续函数， $Y=g(X)$ 则
$E(Y)=\int_{-\infty}^\infty g(x)f(x)\text{d}x$
- 若 $Z=g(X,Y)$ ， $X,Y$ 的概率密度是 $f(x,y)$ ，则
$E(Z)=\int_{-\infty}^\infty\int_{-\infty}^\infty g(x,y)f(x,y)\text{d}x\text{d}y$
琴生Jensen不等式
- 若 $f(x)$ 是凸函数，则
$E(f(X)) \ge f(E(X))$
对应函数的弦在弧的上方
- 若 $f(x)$ 是凹函数，则
$E(f(X)) \le f(E(X))$
对应函数的弦在弧的下方

方差

方差记为 $D(X)$ 或 $\text{Var}(X)$

D(X)=E\{[X-E(X)]^2\}=E(X^2)-E^2(X)

标准差 $\sigma(X)$

\sigma(X)=\sqrt{D(X)}

标准化变量：设随机变量 $X$ 的数学期望为 $E(X)=\mu$ ，方差为 $D(X)=\sigma^2\ne0$ ，则记

X^*=\frac{X-\mu}{\sigma}

为 $X$ 的标准化变量，数学期望为 0，方差为 1

$X\sim B(n,p) \quad D(X)=np(1-p)$
$X\sim N(\mu,\sigma^2) \quad D(X)=\sigma^2$
$X\sim \pi(\lambda) \quad D(X)=\lambda$
$X\sim U(a,b) \quad D(X)=\frac{(b-a)^2}{12}$
$X\sim E(\lambda) \quad D(X)=\frac{1}{\lambda^2}$
性质
- $C$ 是常数， $D(C)=0$
- $D(aX+C)=a^2D(X)$
- $D(X+Y)=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\} = D(X)+D(Y)+2\text{Cov}(X,Y)$
若 $X,Y$ 相互独立，则
$D(X+Y)=D(X)+D(Y)$
可以推广到任意有限多个相互独立的随机变量之和的情况

协方差相关系数

协方差记为 $\text{Cov}(X,Y)$ ，有

\text{Cov}(X,Y)=E\{[X-E(X)][Y-E(Y)]\}

展开得

\text{Cov}(X,Y)=E(XY)-E(X)E(Y)

性质
- $\text{Cov}(aX,bY)=ab\text{Cov}(X,Y)$ ， $a,b$ 是常数
- $\text{Cov}(X_1+X_2,Y)=\text{Cov}(X_1,Y)+\text{Cov}(X_2,Y)$
随机变量 $X,Y$ 的相关系数记为 $\rho_{XY}$

\rho_{XY}=\frac{\text{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}

定理
- $|\rho_{XY}|\le 1$
$\rho_{XY}=0$ $ρ_{X Y} = 0$ 称为 $X,Y$ $X, Y$ 不相关
- 对于二维正态随机变量 $(X,Y)$ 而言， $X,Y$ 不相关和 $X,Y$ 相互独立等价
二维正态分布
- $(X,Y)$ 的概率密度是
$f(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Big\{\frac{-1}{2(1-\rho^2)}\Big[\frac{(x-\mu_1)^2}{\sigma^2_1}\\-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma^2_2}\Big]\Big\}$
- 记作 $(X,Y)\sim N(\mu_1,\sigma_1;\mu_2,\sigma_2;\rho)$
- 两个边缘分布都是正态分布
- $E(X)=\mu_1,D(X)=\sigma^2_1$ 以及 $E(Y)=\mu_2,D(Y)=\sigma^2_2$
- 在二维正态分布下，相关系数 $\rho=0$ 表示 $X,Y$ 相互独立

矩协方差矩阵

k 阶原点矩

E(X^k),\quad k=1,2,...

协方差矩阵

大数定律中心极限定理

辛钦大数定律

设 $X_1,X_2,...$ 是相互独立且服从同一分布（独立同分布）的随机变量序列，具有数学期望 $E(X_k)=\mu\;(k=1,2,...)$ ，则对于任意 $\varepsilon>0$ ，有

\lim_{n\rightarrow\infty}P\Big\{ \Big|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu\Big|<\varepsilon\Big\}=1

即 $\bar X$ 依概率收敛到数学期望 $\mu$

\bar X\overset{P}{\longrightarrow}\mu

伯努利大数定律

设 $f_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数， $p$ 是事件 $A$ 发生的概率，则对于任意 $\varepsilon>0$ ，有

\lim_{n\rightarrow\infty}P\Big\{ \Big| \frac{f_A}{n}-p\Big|<\varepsilon\Big\}=1

表面在试验次数足够多的时候，频率趋近于概率

中心极限定理

独立同分布的中心极限定理：设随机变量序列 $X_1,X_2,...,X_n$ 相互独立且服从同一分布，具有数学期望 $E(X_k)=\mu$ 和方差 $D(X_k)=\sigma^2$ ，则

\bar X \sim N(\mu,\frac{\sigma^2}{n}) \quad \text{or} \quad \sum_{i=1}^n X_i \sim N(n\mu,n\sigma^2)

棣莫弗De Moivre - 拉普拉斯Laplace定理：设随机变量 $X \sim B(n,p)$ ，则

P\Big\{\frac{X-np}{\sqrt{np(1-p)}} \le x \Big\} \approx \Phi(x)

其中 $\Phi(x)$ 表示标准正态分布的分布函数

样本及抽样分布

随机样本

总体：试验的全部可能的观察值称为总体
个体：每一个可能的观察值
容量：总体中包含的个体的个数
简单随机样本：设 $X$ 是具有分布函数 $F$ 的随机变量，若 $X_1,X_2,...,X_n$ 是独立同分布（ $F$ ）的随机变量序列，则称此随机变量序列为从总体 $X$ 得到的容量为 $n$ 的简单随机样本，简称为样本。它们的观察值 $x_1,x_2,...,x_n$ 称为样本值

抽样分布

统计量： $X_1,X_2,...,X_n$ 是样本， $g(X_1,X_2,...,X_n)$ 是一个不含未知参数的函数，则其是一统计量
样本均值

\bar X=\frac{1}{n}\sum_{i=1}^{n}X_i

样本方差

S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar X)^2

注意，样本方差与总体方差不同

样本标准差

S=\sqrt{S^2}

样本 k 阶原点矩

A_k=\frac{1}{n}\sum_{i=1}^{n}X_i^k,\quad k \in \mathbb{N}^*

样本 k 阶中心矩

B_k=\frac{1}{n}\sum_{i=1}^n (X_i-\bar X)^k, \quad k \in \mathbb{N}^*

$\chi^2$ 分布

设 $X_1,X_2,...,X_n$ 来自总体 $X \sim N(0,1)$ ，则

\chi^2 = X_1^2 + X_2^2 + ... + X_n^2

服从自由度为 $n$ 的 $\chi^2$ 分布，记作 $\chi^2 \sim \chi^2(n)$

概率密度
性质
- $\chi^2_1 \sim \chi^2(n),\chi^2_2 \sim \chi^2(m)$ ，且 $\chi^2_1,\chi^2_2$ 相互独立，则
$\chi^2_1+\chi^2_2 \sim \chi^2(n+m)$
- 数学期望
$E(\chi^2)=n$
- 方差
$D(\chi^2)=2n$
- 分布表

t 分布

设 $X\sim N(0,1),Y\sim \chi^2(n)$ ，且 $X,Y$ 相互独立，则

t=\frac{X}{\sqrt{Y/n}}

服从自由度为 $n$ 的 t 分布学生氏分布，记作 $t \sim t(n)$

概率密度
性质
- $t_{1-\alpha}(n) = -t_{\alpha}(n)$ （类似正态分布的对称性）

F 分布

设 $X\sim \chi^2(n_1),Y \sim \chi^2(n_2)$ ，且 $X,Y$ 相互独立，则

F=\frac{X/n_1}{Y/n_2}

服从自由度为 $(n_1,n_2)$ 的 F 分布，记作 $F \sim F(n_1,n_2)$

概率密度
性质
- $\frac{1}{F} \sim F(n_2,n_1)$
- $F_{1-\alpha}(n_1,n_2)=\frac{1}{F_{\alpha}(n_2,n_1)}$

正态总体的样本均值和方差的分布

任意分布的总体 $X$ 的均值为 $\mu$ ，方差为 $\sigma^2$ ， $X_1,X_2,...,X_n$ 来自 $X$ 的一个样本， $\bar X$ 是样本均值， $S^2$ 是样本方差，则

\begin{aligned} & E(\bar X)=\mu\\ & D(\bar X) = \frac{\sigma^2}{n}\\ & E(S^2) = \sigma^2 \\ & D(S^2) = \frac{2\sigma^4}{n-1} \end{aligned}

定理（ $X_1,X_2,...,X_n$ 来自正态总体）
- $\bar X$ 和 $S^2$ 相互独立
- $X_i$ 是来自正态总体 $N(\mu,\sigma^2)$ 的样本， $\bar X$ 是样本均值，则
$X_i-\bar X \sim N(0,\frac{n-1}{n}\sigma^2)$
- $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
因此 $D(\frac{(n-1)S^2}{\sigma^2})=\frac{(n-1)}{\sigma^2}D(S^2)=2n-2 \longrightarrow D(S^2)=\frac{2\sigma^4}{n-1}$
- $\frac{\bar X-\mu}{S/\sqrt{n}} \sim t(n-1)$
定理（ $X_1,X_2,...,X_n$ 与 $Y_1,Y_2,...,Y_n$ 来自两个正态总体，且二者相互独立）
- $\frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2} \sim F(n_1-1,n_2-1)$

参数估计

点估计

矩估计法

用样本 k 阶原点矩（不含未知参数）代替总体 k 阶原点矩（含有未知参数）的值

最大似然估计法

总体 $X$ 是离散型， $P\{X=x\}=p(x;\theta)$ （ $\theta$ 未知）
- 似然函数 $L(\theta)$ 为：
$L(\theta)=\prod_{i=1}^np(x_i;\theta)$
总体 $X$ 是连续型，，概率密度为 $f(x;\theta)$
- 似然函数 $L(\theta)$ 为：
$L(\theta)=\prod_{i=1}^nf(x_i;\theta)$
使似然函数最大，得到 $\hat{\theta}$ 称为最大似然估计值，即

\frac{\text{d}}{\text{d}\theta}L(\theta)=0

或

\frac{\text{d}}{\text{d}\theta}\ln L(\theta)=0

第二种称为对数似然方程

估计量的评选标准

无偏性：估计量 $\hat{\theta}$ 的数学期望存在且

E(\hat{\theta})=\theta

则称为无偏估计量

有效性：估计量 $\hat{\theta}_1$ 与 $\hat{\theta}_2$ 都是无偏估计量，且有

D(\hat{\theta}_1)\le D(\hat{\theta}_2)

则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 更有效

一致相合性： $\hat{\theta}$ 是估计量，且 $\hat{\theta}$ 依概率收敛到 $\theta$ ，则 $\hat{\theta}$ 是一致相合估计量

区间估计

置信区间：设总体 $X$ 的分布函数含有一个未知参数 $\theta$ ，对于给定的 $\alpha$ ，用样本确立两个统计量 $\bar \theta$ 和 $\underline \theta$ ，使得

P\{\underline \theta < \theta < \bar \theta\} \ge 1-\alpha

则称区间 $(\underline \theta,\bar \theta)$ 为置信水平 $1-\alpha$ 的置信区间，二者称为置信下限和置信上限

方法
1. 对于样本 $X_1,X_2,...,X_n$ $X_{1}, X_{2}, ..., X_{n}$ ，寻找一个函数 $g(X_1,X_2,...,X_n;\theta)$ $g (X_{1}, X_{2}, ..., X_{n}; θ)$ ，使得：
  - $g$ 含有待估参数 $\theta$
  - 不含其余参数
  - 分布已知且不依赖于待估参数
    这样的 $g$ 被称为枢轴量
2. 给定显著性水平 $\alpha$ ，定出常数 $a,b$ 使得
$P\{a<g(X_1,X_2,...,X_n;\theta)<b\}=1-\alpha$
1. 由 $a<g(X_1,X_2,...,X_n;\theta)<b$ 解出 $\underline \theta < \theta < \bar \theta$ ，得到置信区间 $(\underline \theta,\bar \theta)$
正态总体的区间估计

待估参数	其他参数条件	枢轴量
$\mu$	$\sigma^2$ 已知	$Z=\frac{\bar X-\mu}{\sigma/\sqrt{n}} \sim N(0,1)$
$\mu$	$\sigma^2$ 未知	$t=\frac{\bar X-\mu}{S/\sqrt{n}} \sim t(n-1)$
$\sigma^2$	$\mu$ 未知	$\chi^2=\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
$\mu_1-\mu_2$	$\sigma^2_1,\sigma^2_2$ 已知	$Z=\frac{(\bar X-\bar Y)-(\mu_1 - \mu_2)}{\sqrt{\frac{\sigma^2_1}{n_1}+\frac{\sigma^2_2}{n_2}}} \sim N(0,1)$
$\mu_1-\mu_2$	$\sigma^2_1=\sigma^2_2=\sigma^2$ 未知	$t=\frac{(\bar X-\bar Y)-(\mu_1 - \mu_2)}{S_W\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}} \sim t(n_1+n_2-2)$ ，其中 $S_W^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
$\frac{\sigma^2_1}{\sigma^2_2}$	$\mu_1,\mu_2$ 未知	$F=\frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2} \sim F(n_1-1,n_2-1)$

假设检验

零假设原假设 $H_0$ ：认为假设的场景不发生的一种假设，例如需要检验“产量提升了”这一假设，零假设就是“产量没有提升”
备择假设 $H_1$ ：零假设被拒绝之后可选的假设
拒绝域：当检验统计量取某个区域 $C$ 中的值的时候，拒绝 $H_0$ ，则称区域 $C$ 为拒绝域。拒绝域的边界称为临界点
第 I 类错误：当 $H_0$ 实际为真时，拒绝之，称为“弃真”
第 II 类错误：当 $H_0$ 实际为假时，接受之，称为“取伪”
显著性检验：只对犯第 I 类错误的概率加以限制，而不考虑犯第 II 类错误的概率的检验
双边假设检验

H_0:\mu=\mu_0,\quad H_1:\mu \ne \mu_0

右边检验

H_0:\mu \le \mu_0, \quad H_1:\mu > \mu_0

左边检验

H_0:\mu \ge \mu_0, \quad H_1:\mu < \mu_0

方法
1. 提出零假设和备择假设
2. 给定显著性水平 $\alpha$ 和样本容量 $n$
3. 确定检验统计量
4. 按 $P\{\text{Reject}\;H_0\; \text{when it's true}\} \le \alpha$ 求出拒绝域
5. 取样，根据样本观察值做出决策
正态总体的假设检验

待检验假设	其他参数条件	检验统计量
$\mu$ 与 $\mu_0$ 大小关系	$\sigma^2$ 已知	$Z=\frac{\bar X-\mu}{\sigma/\sqrt{n}} \sim N(0,1)$
$\mu$ 与 $\mu_0$ 大小关系	$\sigma^2$ 未知	$t=\frac{\bar X-\mu}{S/\sqrt{n}} \sim t(n-1)$
$\sigma^2$ 与 $\sigma_0^2$ 大小关系	$\mu$ 未知	$\chi^2=\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
$\mu_1-\mu_2$ 与 $\delta$ 大小关系	$\sigma^2_1,\sigma^2_2$ 已知	$Z=\frac{(\bar X-\bar Y)-\delta}{\sqrt{\frac{\sigma^2_1}{n_1}+\frac{\sigma^2_2}{n_2}}} \sim N(0,1)$
$\mu_1-\mu_2$ 与 $\delta$ 大小关系	$\sigma^2_1=\sigma^2_2=\sigma^2$ 未知	$t=\frac{(\bar X-\bar Y)-\delta}{S_W\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}} \sim t(n_1+n_2-2)$ ，其中 $S_W^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
$\sigma^2_1$ 与 $\sigma^2_2$ 大小关系	$\mu_1,\mu_2$ 未知	$F=\frac{S_1^2}{S_2^2} \sim F(n_1-1,n_2-1)$

参数估计与假设检验的关系

在显著性水平 $\alpha$ 下，对待估参数 $\theta$ 得到一个置信度为 $1-\alpha$ 的置信区间 $(\underline \theta,\bar \theta)$ （单侧置信区间同理），今在同样显著性水平下有一假设 $H_0:\theta=\theta_0$ ，那么

\begin{aligned} & \text{if}\; \theta_0 \in (\underline \theta,\bar \theta) \; \text{then} \\ & \quad \text{Accept} \; H_0 \\ & \text{else then} \\ & \quad \text{Reject} \; H_0 \\ & \text{endif} \end{aligned}

方差分析回归分析

单因素试验的方差分析

试验指标：试验中要考察的指标
因素：影响试验指标的条件
水平：因素所在的状态
单因素试验：在一项试验的过程中，只有一个因素在改变
多因素试验：在一项试验的过程中，多于一个因素在改变
方差分析的任务
1. 检验 $s$ 个总体 $N(\mu_1,\sigma^2),...,N(\mu_s,\sigma^2)$ 的均值是否相等，即
$H_0:\mu_0=\mu_1=...=\mu_s$
1. 作出未知参数 $\mu_1,...,\mu_s,\sigma^2$ 的估计
设因素 $A$ 有 $s$ 个水平 $A_1,...,A_s$ ，在第 $j$ 个水平下，进行了 $n_j$ 次独立试验。

水平	结果1	结果2	…	结果 $n_j$	样本均值	总体均值
$A_j$	$X_{1,j}$	$X_{2,j}$	…	$X_{n_j,j}$	$\bar X_{\cdot,j}$	$\mu_j$

总平均（总体均值的加权平均）

\mu=\frac{1}{\sum_{j=1}^sn_j}\sum_{j=1}^sn_j\mu_j

效应 $\delta_j$ ：水平 $A_j$ 下总体均值和总平均的差异

\delta_j=\mu_j-\mu

且有 $n_1\delta_1+...+n_s\delta_s=0$

方差分析的数学模型

\left \{ \begin{matrix} \begin{aligned} & X_{i,j}=\mu+\delta_j+\varepsilon_{i,j} \\ & \varepsilon_{i,j}\sim N(0,\sigma^2)，\text{各 } \varepsilon_{i,j} \text{ 独立} \\ & i=1,2,...,n_j,\; j=1,2,...,s \\ & \sum_{j=1}^sn_j\delta_j=0 \end{aligned} \end{matrix} \right.

零假设改写为

H_0:\delta_1=\delta_2=...=\delta_s=0

三个方差
- 总偏差平方和总变差 $S_T$ ：每个观察值与数据总平均的差值的平方和
$S_T=\sum_{j=1}^s\sum_{i=1}^{n_j}(X_{i,j}-\bar X)^2$
其中 $\bar X = \frac{1}{n}\sum_{j=1}^s\sum_{i=1}^{n_j}X_{i,j}$ ，即全部观察值的平均值
- 误差平方和 $S_E$ ：水平 $A_j$ 下，样本观察值与样本均值的差值的平方和
$S_E=\sum_{j=1}^s\sum_{i=1}^{n_j}(X_{i,j}-\bar X_{\cdot,j})^2$
- 效应平方和 $S_A$ ：水平 $A_j$ 下，样本均值与数据总平均的差值的平方和
$S_A=\sum_{j=1}^s\sum_{i=1}^{n_j}(\bar X_{\cdot,j}-\bar X)^2$
- $S_T=S_E+S_A$
统计特性
- $\frac{S_E}{\sigma^2}\sim\chi^2(n-s)$
- $E(\frac{S_E}{\sigma^2})=n-s \longrightarrow E(\frac{S_E}{n-s})=\sigma^2$ ，即 $\frac{S_E}{n-s}$ 是 $\sigma^2$ 的无偏估计
- $H_0$ 为真时， $\frac{S_A}{\sigma^2}\sim\chi^2(s-1) \longrightarrow E(\frac{S_A}{s-1})=\sigma^2$
$H_0$ 的拒绝域：显著性水平 $\alpha$ 下

F=\frac{S_A/(s-1)}{S_E/(n-s)} \ge F_\alpha(s-1,n-s)

双因素试验的方差分析

好累啊，我不想写了。

回归分析

不考说是。

用 $e$ 表示样本空间的元素，用 $\{e\}$ 表示样本空间。 ↩︎

序

目录