概率论知识点总结（上）

参考资料

• 概率论 · 复习概要
• 何书元《概率论与数理统计》

1. 随机事件与概率

1.1 古典概型

古典概型中常用计数一有重复的排列数

• 从 $n$ 个不同元素中有放回地每次随机抽取一个, 共抽取 $m$ 次, 有序 地记录结果, 共有 $n^m$ 种等可能的不同结果。
• 例： 掷骰子 3 次, 记录每次结果, 结果一共有 $6\times 6\times 6=6^3$ 种。
• 例： 从 52 张扑克牌中随机有放回地抽取并记录 3 次, 结果共有 $52^3$ 种。

古典概型中常用计数一排列数

• 从 $n$ 个不同元素中无放回地每次随机抽取一个, 共抽取 $m$ 次 $(m\le n)$, 有序地记录结果, 共有
  $$A_n^m=n(n-1)\dots (n-m+1)=\frac{n!}{(n-m)!}$$
  种等可能的不同结果。
• $A_n^m$ 在有的教材中记为 $P_n^m$ 。
• 例： 从 52 张扑克牌中随机无放回地抽取 3 张, 记录每次结果, 结果有 $52\times 51\times 50=A_{52}^3$ 种。

古典概型中常用计数一组合数

• 从 $n$ 个不同元素中无放回地每次抽取一个, 共抽取 $m$ 次 $(m\le n)$, 不计次序地记录结果 (只要元素相同, 不管次序是否相同都算是相同结 果), 共有
  $$C_n^m=\frac{n(n-1)\dots (n-m+1)}{m!}=\frac{n!}{m!(n-m)!}$$
  种等可能的不同结果。
• 例： 从一副扑克牌的 4 张 A 中随机无放回抽取 2 张组成一手牌, 不计 次序。有 $C_4^2=4\times 3/2=6$ 种结果。

古典概型中常用计数一分组方式数

• 将 $n$ 个不同元素分成有序号的 $k$ 组, 要求第 $i$ 组恰好有 $n_i$ 个元素 $(i=1,2,\dots ,k)$, 分组结果中同组的元素不考虑次序。则这样分组的 所有不同分法个数为
  ( n n 1 , n 2 , … , n k ) = n ! n 1 ! n 2 ! … n k ! . \left(
  nn1,n2,…,nk" role="presentation" style="position: relative;">nn1,n2,…,nk$$\begin{array}{c}n\\ n_1,n_2,\dots ,n_k\end{array}$$
  \right)=\frac{n !}{n_{1} ! n_{2} ! \ldots n_{k} !} . (nn1​,n2​,…,nk​​)=n1​!n2​!…nk​!n!​.
• 当随机分组时, 这些分法是等可能的。
• 随机分组的方法是 $n$ 个元素随机排列 ( $n$ ! 种排法), 然后前 $n_1$ 个不计 次序地归入 $i=1$ 组, 后续 $n_2$ 个不计次序地归入 $i=2$ 组, 以此类推。
• 例 10 个学生分成 $\mathrm{A},\mathrm{B},\mathrm{C}$ 三个组, 分别有 3、3、4人, 组内不计次 序。
  分组方式个数为
  10 ! 3 ! 3 ! 4 ! ≜ ( 10 3 , 3 , 4 ) \frac{10 !}{3 ! 3 ! 4 !} \triangleq\left(
  103,3,4" role="presentation" style="position: relative;">103,3,4$$\begin{array}{c}10\\ 3,3,4\end{array}$$
  \right) 3!3!4!10!​≜(103,3,4​)

古典概型中常用计数一可重复分组数

• 从 $n$ 个不同的球中有放回地每次抽取一个, 共抽取 $m$ 次, 结果不计 次序。共有 $C_{n+m-1}^m$ 种不同的组合。
• 用 0 和 1 组成的序列表示一个结果。
• 用 $n-1$ 个 1 分隔出 $n$ 个组, 1 表示组边界。这 $n$ 个组是结果排序后 球号 $1,2,\dots ,n$ 的组。
• 每组内有若干个 0 表示该组个数, 如果出现 11 则该组没有球, 把 $m$ 个 0 分配到各个组中。
• 这样, 用长度为 $n+m-1$ 的 0-1 向量表示一个结果, 结果个数为 $C_{n+m-1}^{n-1}$ (从 $n+m-1$ 个二进制位中选择 1 的位置, 即边界的位置)。
• 可重复分组数在随机分组时一般不是等可能的。
• 例如, 从红、白两个球中有放回地抽取 2 次, 计数这 2 次红球、白球 个数。共有 (红 0 , 白 2$),($ 红 1 , 白 1$),($ 红 2 , 白 0$)$ 三种结果, 即 $C_{2+2-1}^2=3$ 种结果。随机抽取时 (红 1 , 白 1) 概率为 $\frac{1}{2}$, (红 0 , 白 2) 和 (红 2 , 白 $0)$ 的概率都是 $\frac{1}{4}$ 。

例题

1.2 加法公式与乘法公式

和事件的概率 $P(A\cup B)$ 在不同场合下的求法:

• 一般形式:
  P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A B ) P ( A ∪ B ∪ C ) = P ( A ) + P ( B ) + P ( C ) − P ( A B ) − P ( A C ) − P ( B C ) + P ( A B C ) .

  P(A∪B)=P(A)+P(B)−P(AB)P(A∪B∪C)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC)." role="presentation" style="position: relative;">P(A∪B)P(A∪B∪C)=P(A)+P(B)−P(AB)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC).$$\begin{array}{rl}P(A\cup B)& =P(A)+P(B)-P(AB)\\ P(A\cup B\cup C)& =P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC).\end{array}$$
  P(A∪B)P(A∪B∪C)​=P(A)+P(B)−P(AB)=P(A)+P(B)+P(C)−P(AB)−P(AC)−P(BC)+P(ABC).​

• 若 $A,B$ 互不相容: $P(A\cup B)=P(A)+P(B)$.

• 若 $A,B$ 相互独立:
  P ( A ∪ B ) = 1 − P ( A ∪ B ‾ ) = 1 − P ( A ˉ B ˉ ) = 1 − P ( A ˉ ) P ( B ˉ )

  P(A∪B)=1−P(A∪B¯)=1−P(A¯B¯)=1−P(A¯)P(B¯)" role="presentation" style="position: relative;">P(A∪B)=1−P(A∪B¯¯¯¯¯¯¯¯¯¯¯¯¯)=1−P(A¯B¯)=1−P(A¯)P(B¯)$$\begin{array}{rl}P(A\cup B)& =1-P(\overline{A\cup B})=1-P(\overline{A}\overline{B})\\ & =1-P(\overline{A})P(\overline{B})\end{array}$$
  P(A∪B)​=1−P(A∪B)=1−P(AˉBˉ)=1−P(Aˉ)P(Bˉ)​

积事件的概率 $P(AB)$ 的求法:

• 一般形式:
  $$P(AB)=P(A)P(B\mid A)=P(B)P(A\mid B).$$
• 若 $A,B$ 相互独立:
  $$P(AB)=P(A)P(B).$$
  乘法公式来自于条件概率公式:
  $$P(B\mid A)=\frac{P(AB)}{P(A)}$$

1.3 全概率公式和 Bayes 公式

全概率公式
P ( A ) = P ( A B 1 ) + P ( A B 2 ) + ⋯ + P ( A B n ) = P ( B 1 ) P ( A ∣ B 1 ) + P ( B 2 ) P ( A ∣ B 2 ) + ⋯ + P ( B n ) P ( A ∣ B n ) .

P(A)​=P(AB1​)+P(AB2​)+⋯+P(ABn​)=P(B1​)P(A∣B1​)+P(B2​)P(A∣B2​)+⋯+P(Bn​)P(A∣Bn​).​
Bayes 公式
$$P\left(B_i\mid A\right)=\frac{P\left(B_i\right)P\left(A\mid B_i\right)}{{\sum }_{j=1}^{n}P\left(B_j\right)P\left(A\mid B_j\right)},i=1,2,\cdots ,n.$$
Bayes 公式本质上是条件概率公式:
$$P\left(B_i\mid A\right)=\frac{P\left(A{B}_i\right)}{P(A)},$$
只是其分子、分母进一步分别使用了乘法公式和全概率公式.

• 全概率公式表达了 “综合考虑引起结果 $A$ 的各种原因 $B_i$, 计算导致结果 $A$ 出现的可能性的大小”; 如果一个事件的发生有多个 “诱因”, 就要用到全概率公式.
• Bayes 公式则反映了 “当结果 $A$ 出现时, 它是由原因 $B_i$ 引起的可能性的大小”. Bayes 公式常用来 追究责任, 或者 “执果索因”. 也就是计算各个 “诱因” 对事件发生的 “贡献”.

例题：

发报台分别以概率0.6和0.4发出信号“1”和“0”。由于通讯系统受到干扰，当发出信号“1”时，收报台未必收到信号“1”，而是分别以概率0.8和0.2收到信号“1”和“0”；同时，当发出信号“0”时，收报台分别以概率0.9和0.1收到信号“0”和“1”。求（1）收报台收到信号“1”的概率；（2）当收报台收到信号“1”时，发报台确是发出信号“1”的概率。

正确答案：

设A1=“发出信号1”，A0=“发出信号0”，A=“收到信号1”

(1)由全概率公式，有P(A)=P(A|A1)P(A1)+P(A|A0)P(A0)=0.8x0.6+0.1x0.4=0.52

(2)由贝叶斯公式，有P(A1|A)=P(A|A1)P(A1)/P(A)=0.8x0.6/0.52=12/13

2. 随机变量及其概率分布

2.0 密度函数与分布函数

概率密度函数定义

• 设 $X$ 是随机变量, 如果存在非负函数 $f(x)$ 使得对任何满 足 $-\infty \le a<b\le \infty$ 的 $a,b$, 有
  $$P(a<X\le b)={\int }_a^{b}f(x)dx,$$
  就称 $X$ 是连续型随机变量, 称 $f(x)$ 是 $X$ 的概率密度函数, 简称为概 率密度 (probability density) 或密度.

分布密度性质

• 设 $f(x)$ 是 $X$ 的概率密度, 则 $f(x)$ 有如下的基本性质.
  (a) ${\int }_{-\infty }^{\infty }f(x)dx=1$,
  (b) $P(X=a)=0$. 于是 $P(a<X\le b)=P(a\le X\le b)$,

• 证明: (a) 由
  $${\int }_{-\infty }^{\infty }f(x)dx=P(-\infty <X\le \infty )=1$$
  可得。

• (b)
  $$\mathrm{Pr}(X=a)\le \mathrm{Pr}(X\in (a-\epsilon ,a])={\int }_{a-\epsilon }^{a}f(x)dx\to 0,\epsilon \to 0.$$

概率分布函数定义

• 对随机变量 $X$, 称 $x$ 的函数
  $$F(x)=P(X\le x),-\infty \le x\le \infty ,$$
  为 $X$ 的概率分布函数, 简称为分布函数 (distribution function), 也称 为累积 (cumulative) 分布函数。
• 例: $\Phi (x)={\int }_{-\infty }^x\phi (t)dt$ 是标准正态分布的分布函数.

离散型随机变量的分布函数

• 从定义看出, 如果 $X$ 是离散型随机变量, 有概率分布
  $$p_k=P\left(X=x_k\right),k=1,2,\cdots ,$$
  则 $X$ 的分布函数
  F ( x ) = P ( X ≤ x ) = P ( ⋃ j : x j ≤ x { X = x j } ) = ∑ j : x j ≤ x p j F(x)=P(X \leq x)=P\left(\bigcup_{j: x_{j} \leq x}\left\{X=x_{j}\right\}\right)=\sum_{j: x_{j} \leq x} p_{j} F(x)=P(X≤x)=P⎝ ⎛​j:xj​≤x⋃​{X=xj​}⎠ ⎞​=j:xj​≤x∑​pj​
• 是单调不减的阶梯函数.

连续型随机变量的分布函数

• 如果 $X$ 是连续型随机变量, 有概率密度 $f(x)$, 则
  $$F(x)={\int }_{-\infty }^{x}f(t)dt$$
  是连续函数, 并且在 $f(x)$ 的连续点 $x$ 有 $f(x)=F^{\prime }(x)$. 我们称 $F(x)$ 是 $f(x)$ 的分布函数.

分布函数性质

• 分布函数 $F(x)$ 的常用性质:
  (1) $F$ 单调不减右连续,
  (2) $F(\infty )=1,F(-\infty )=0$.

证明

• (1) 对 $x<y$, 单调不减性由
  { x < X ≤ y } = { X ≤ y } − { X ≤ x } \{x{x<X≤y}={X≤y}−{X≤x}
  和 $P(x<X\le y)=P(X\le y)-P(X\le x)=F(y)-F(x)\ge 0$ 得到.
• 由于 $n$ 越大, 集合 { X ≤ x + 1 / n } \{X \leq x+1 / n\} {X≤x+1/n} 越小, 所以用 $F$ 的单调性和概率 $P$ 的连续性得到
  lim ⁡ δ ↓ 0 F ( x + δ ) = lim ⁡ n → ∞ F ( x + 1 / n ) = lim ⁡ n → ∞ P ( X ≤ x + 1 / n ) = P ( ∩ n = 1 ∞ { X ≤ x + 1 / n } ) = P ( X ≤ x ) = F ( x ) .
  limδ↓0F(x+δ)=limn→∞F(x+1/n)=limn→∞P(X≤x+1/n)=P(∩n=1∞{X≤x+1/n})=P(X≤x)=F(x)." role="presentation" style="position: relative;">limδ↓0F(x+δ)=limn→∞F(x+1/n)=limn→∞P(X≤x+1/n)=P(∩∞n=1{X≤x+1/n})=P(X≤x)=F(x).$$\begin{array}{rl}\underset{\delta \downarrow 0}{lim}F(x+\delta )& =\underset{n\to \mathrm{\infty }}{lim}F(x+1/n)\\ & =\underset{n\to \mathrm{\infty }}{lim}P(X\le x+1/n)\\ & =P\left({\cap }_{n=1}^{\mathrm{\infty }}\{X\le x+1/n\}\right)\\ & =P(X\le x)=F(x).\end{array}$$
  δ↓0lim​F(x+δ)​=n→∞lim​F(x+1/n)=n→∞lim​P(X≤x+1/n)=P(∩n=1∞​{X≤x+1/n})=P(X≤x)=F(x).​
• (2) 由 $F(\infty )=P(X\le \infty )=P(\Omega )=1$ 和 $F(-\infty )=P(X\le -\infty )=$ $P(\varnothing )=0$ 得到 (2).

2.1 已知密度函数 $f(x)$, 求分布函数 $F(x)$

密度函数 $f(x)$ 一般是分段函数. 由 $f(x)$ 求 $F(x)$, 本质上是分段函数求积分的问题!

典型例题:
设随机变量 $X$ 具有概率密度
f ( x ) = { k x , 0 ⩽ x < 3 , 2 − x 2 , 3 ⩽ x ⩽ 4 , 0 ,  其它.  f(x)=

{kx,0⩽x<3,2−x2,3⩽x⩽4,0, 其它. " role="presentation">⎧⎩⎨kx,2−x2,0,0⩽x<3,3⩽x⩽4, 其它. $$\{\begin{array}{ll}kx,& 0⩽x<3,\\ 2-\frac{x}{2},& 3⩽x⩽4,\\ 0,& \text{ 其它. }\end{array}$$

f(x)=⎩ ⎨ ⎧​kx,2−2x​,0,​0⩽x<3,3⩽x⩽4, 其它. ​
(1) 确定常数 $k$; (2) 求 $X$ 的分布函数 $F(x)$; (3) 求 P { 1 < X ⩽ 3.5 } P\{1P{1<X⩽3.5}.

解

(1) 由 ${\int }_{-\infty }^{+\infty }f(x)\mathrm{d}x=1$, 得
$${\int }_0^{3}kx\mathrm{d}x+{\int }_3^4\left(2-\frac{x}{2}\right)\mathrm{d}x=1,$$
解得 $k=\frac{1}{6}$.

(2) 对 $F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t$,

• $x<0$ 时, $F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t={\int }_{-\infty }^{x}0\mathrm{d}t=0$.
• $0⩽x<3$ 时, $F(x)={\int }_{-\infty }^{0}0\mathrm{d}t+{\int }_0^x\frac{t}{6}\mathrm{d}t=\frac{x^2}{12}$.
• $3⩽x<4$ 时,
  F ( x ) = ∫ − ∞ 0 0   d t + ∫ 0 3 t 6   d t + ∫ 3 x ( 2 − t 2 ) d t = − 3 + 2 x − x 2 4
  F(x)=∫−∞00 dt+∫03t6 dt+∫3x(2−t2)dt=−3+2x−x24" role="presentation" style="position: relative;">F(x)=∫0−∞0 dt+∫30t6 dt+∫x3(2−t2)dt=−3+2x−x24$$\begin{array}{rl}F(x)& ={\int }_{-\mathrm{\infty }}^{0}0\mathrm{d}t+{\int }_0^3\frac{t}{6}\mathrm{d}t+{\int }_3^x\left(2-\frac{t}{2}\right)\mathrm{d}t\\ & =-3+2x-\frac{x^2}{4}\end{array}$$
  F(x)​=∫−∞0​0 dt+∫03​6t​ dt+∫3x​(2−2t​)dt=−3+2x−4x2​​
• $x⩾4$ 时, $F(x)=1$.
  即
  F ( x ) = { 0 , x < 0 x 2 12 , 0 ⩽ x < 3 − 3 + 2 x − x 2 4 , 3 ⩽ x < 4 , 1 , x ⩾ 4 F(x)=
  {0,x<0x212,0⩽x<3−3+2x−x24,3⩽x<4,1,x⩾4" role="presentation" style="position: relative;">⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪0,x212,−3+2x−x24,1,x<00⩽x<33⩽x<4,x⩾4$$\{\begin{array}{ll}0,& x<0\\ \frac{x^2}{12},& 0⩽x<3\\ -3+2x-\frac{x^2}{4},& 3⩽x<4,\\ 1,& x⩾4\end{array}$$
  F(x)=⎩ ⎨ ⎧​0,12x2​,−3+2x−4x2​,1,​x<00⩽x<33⩽x<4,x⩾4​
  做完一定要验算: $F^{\prime }(x)=f(x)$.

(3) P { 1 < x ⩽ 3.5 } = F ( 3.5 ) − F ( 1 ) = 41 / 48 P\{1P{1<x⩽3.5}=F(3.5)−F(1)=41/48.

2.2 随机变量的函数

已知连续型随机变量 $X$ 的概率密度 $f_X(x)$, 求随机变量 $Y=g(X)$ 的概率密度 $f_Y(y)$, 两种方法:

• 分布函数微分法
  已知随机变量 $X$ 具有概率密度
  f X ( x ) = { f ( x ) , a < x < b , 0 ,  其他.  f_{X}(x)=
  {f(x),a<x<b,0, 其他. " role="presentation" style="position: relative;">{f(x),0,a<x<b, 其他. $$\{\begin{array}{ll}f(x),& a<x<b,\\ 0,& \text{ 其他. }\end{array}$$
  fX​(x)={f(x),0,​a<x<b, 其他. ​
  对随机变量 $Y=g(X)$, 要求 $f_Y(y)$. 则对函数关系 $y=g(x)$, 给出反函数 $x=h(y)$, 有
  f Y ( y ) = { f ( h ( y ) ) ⋅ ∣ h ′ ( y ) ∣ , a < h ( y ) < b , 0 ,  其他.  f_{Y}(y)=
  {f(h(y))⋅|h′(y)|,a<h(y)<b,0, 其他. " role="presentation" style="position: relative;">{f(h(y))⋅|h′(y)|,0,a<h(y)<b, 其他. $$\{\begin{array}{ll}f(h(y))\cdot \left|h^{\mathrm{\prime }}(y)\right|,& a<h(y)<b,\\ 0,& \text{ 其他. }\end{array}$$
  fY​(y)={f(h(y))⋅∣h′(y)∣,0,​a<h(y)<b, 其他. ​
  其中函数 $y=g(x)$ 处处可导且单调.
• 积分转化法.

典型例题:
设随机变量 $X$ 具有概率密度
f X ( x ) = { x 8 , 0 < x < 4 , 0 ,  其他.  f_{X}(x)=

{x8,0<x<4,0, 其他. " role="presentation" style="position: relative;">{x8,0,0<x<4, 其他. $$\{\begin{array}{ll}\frac{x}{8},& 0<x<4,\\ 0,& \text{ 其他. }\end{array}$$

fX​(x)={8x​,0,​0<x<4, 其他. ​
求 $Y=2X+8$ 的概率密度 $f_Y(y)$.

解 先求 $Y$ 的分布函数. (请自已注明下述各个步骤的理由.)
F Y ( y ) = P { Y ⩽ y } = P { 2 X + 8 ⩽ y } = P { X ⩽ y − 8 2 } = ∫ − ∞ y − 8 2 f X ( x ) d x

FY(y)=P{Y⩽y}=P{2X+8⩽y}=P{X⩽y−82}=∫−∞y−82fX(x)dx" role="presentation" style="position: relative;">FY(y)=P{Y⩽y}=P{2X+8⩽y}=P{X⩽y−82}=∫y−82−∞fX(x)dx$$\begin{array}{rl}{F}_Y(y)& =P\{Y⩽y\}\\ & =P\{2X+8⩽y\}\\ & =P\left\{X⩽\frac{y-8}{2}\right\}\\ & ={\int }_{-\mathrm{\infty }}^{\frac{y-8}{2}}{f}_X(x)\mathrm{d}x\end{array}$$

FY​(y)​=P{Y⩽y}=P{2X+8⩽y}=P{X⩽2y−8​}=∫−∞2y−8​​fX​(x)dx​
注意到积分上限函数求导法则 ${\left({\int }_{-\infty }^{\phi (x)}f(x)\mathrm{d}x\right)}^{\prime }=f(\phi (x)){\phi }^{\prime }(x)$, 上式两端关于 $y$ 求导, 得
f Y ( y ) = f X ( y − 8 2 ) ⋅ ( y − 8 2 ) y ′ = 1 2 f X ( y − 8 2 ) = { 1 2 ⋅ y − 8 2 , 0 < y − 8 2 < 4 , 0 ,  其他.  = { y − 8 32 , 8 < y < 16 , 0 ,  其他. 

fY(y)=fX(y−82)⋅(y−82)y′=12fX(y−82)={12⋅y−82,0<y−82<4,0, 其他. ={y−832,8<y<16,0, 其他. " role="presentation" style="position: relative;">fY(y)=fX(y−82)⋅(y−82)′y=12fX(y−82)={12⋅y−82,0,0<y−82<4, 其他. ={y−832,0,8<y<16, 其他. $$\begin{array}{rl}{f}_Y(y)& =f_X\left(\frac{y-8}{2}\right)\cdot {\left(\frac{y-8}{2}\right)}_y^{\mathrm{\prime }}\\ & =\frac{1}{2}{f}_X\left(\frac{y-8}{2}\right)\\ & =\{\begin{array}{ll}\frac{1}{2}\cdot \frac{y-8}{2},& 0<\frac{y-8}{2}<4,\\ 0,& \text{ 其他. }\end{array}\\ & =\{\begin{array}{ll}\frac{y-8}{32},& 8<y<16,\\ 0,& \text{ 其他. }\end{array}\end{array}$$

fY​(y)​=fX​(2y−8​)⋅(2y−8​)y′​=21​fX​(2y−8​)={21​⋅2y−8​,0,​0<2y−8​<4, 其他. ​={32y−8​,0,​8<y<16, 其他. ​​
上述方法体现为下面的一般结论. 称为单调函数公式法:

2.3 正态分布

• 正态分布的标准化: 若 $X\sim N\left(\mu ,{\sigma }^2\right)$, 则 $\frac{X-\mu }{\sigma }\sim N(0,1)$.
  对一般的随机变量也可以 “标准化”, 即使它不一定服从正态分布. 事实上, $X$ 标准化变量为
  $$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},$$
  则
  $$E\left(X^{\ast }\right)=0,D\left(X^{\ast }\right)=1.$$
• 正态分布的再生性: 设 $X,Y$ 相互独立, $X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N\left({\mu }_2,{\sigma }_2^2\right)$, 则
  X + Y ∼ N ( μ 1 + μ 2 , σ 1 2 + σ 2 2 ) a X ± b Y ∼ N ( a μ 1 ± b μ 2 , a 2 σ 1 2 + b 2 σ 2 2 ) .
  X+Y∼N(μ1+μ2,σ12+σ22)aX±bY∼N(aμ1±bμ2,a2σ12+b2σ22)." role="presentation" style="position: relative;">X+Y∼N(μ1+μ2,σ21+σ22)aX±bY∼N(aμ1±bμ2,a2σ21+b2σ22).$$\begin{array}{c}X+Y\sim N\left({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2\right)\\ aX\pm bY\sim N\left(a{\mu }_1\pm b{\mu }_2,a^2{\sigma }_1^2+b^2{\sigma }_2^2\right).\end{array}$$
  X+Y∼N(μ1​+μ2​,σ12​+σ22​)aX±bY∼N(aμ1​±bμ2​,a2σ12​+b2σ22​).​
• $\Phi (-x)=1-\Phi (x)$.
• $z_{1-\alpha }=-z_{\alpha }$.

2.4 常用的概率分布表

3. 多维随机变量及其概率分布

3.1 边缘分布与边缘密度

边缘分布

• 设 $F(x,y)$ 是 $(X,Y)$ 的联合分布, 则 $X,Y$ 分别有概率分布
  F X ( x ) = P ( X ≤ x , Y ≤ ∞ ) = F ( x , ∞ ) , F Y ( y ) = P ( X ≤ ∞ , Y ≤ y ) = F ( ∞ , y ) .
  FX(x)=P(X≤x,Y≤∞)=F(x,∞),FY(y)=P(X≤∞,Y≤y)=F(∞,y)." role="presentation" style="position: relative;">FX(x)=P(X≤x,Y≤∞)=F(x,∞),FY(y)=P(X≤∞,Y≤y)=F(∞,y).$$\begin{array}{rl}& F_X(x)=P(X\le x,Y\le \mathrm{\infty })=F(x,\mathrm{\infty }),\\ & F_Y(y)=P(X\le \mathrm{\infty },Y\le y)=F(\mathrm{\infty },y).\end{array}$$
  ​FX​(x)=P(X≤x,Y≤∞)=F(x,∞),FY​(y)=P(X≤∞,Y≤y)=F(∞,y).​
  我们称 $X$ 的分布函数 $F_X(x),Y$ 的分布函数 $F_Y(x)$ 为 $(X,Y)$ 的边缘 分布函数 (marginal distribution function).

边缘密度

• 设 $f(x,y)$ 是随机向量 $(X,Y)$ 的概率密度, 则 $X$ 和 $Y$ 也都是连续型 随机变量, 我们称 $X,Y$ 各自的概率密度为 $f(x,y)$ 或 $(X,Y)$ 的边缘 密度 (marginal density).
• 对任何 $a<b$, 有
  P ( a < X ≤ b ) = P ( a < X ≤ b , Y < ∞ ) = ∫ a b ( ∫ − ∞ ∞ f ( x , y ) d y ) d x
  P(a<X≤b)=P(a<X≤b,Y<∞)=∫ab(∫−∞∞f(x,y)dy)dx" role="presentation" style="position: relative;">P(a<X≤b)=P(a<X≤b,Y<∞)=∫ba(∫∞−∞f(x,y)dy)dx$$\begin{array}{rl}P(a<X\le b)& =P(a<X\le b,Y<\mathrm{\infty })\\ & ={\int }_a^b\left({\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,y)dy\right)dx\end{array}$$
  P(a<X≤b)​=P(a<X≤b,Y<∞)=∫ab​(∫−∞∞​f(x,y)dy)dx​
  由概率密度的定义知道 $X$ 有边缘密度
  $$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy.$$
• 完全对称地得到 $Y$ 的边缘函数
  $$f_Y(y)={\int }_{-\infty }^{\infty }f(x,y)dx$$

联合分布与联合密度

• 设 $(X,Y)$ 有连续的分布函数 $F(x,y)$, 定义
  f ( x , y ) = { ∂ 2 F ( x , y ) ∂ x ∂ y ,  当该混合偏导数存在,  0 ,  其他.  f(x, y)=
  {∂2F(x,y)∂x∂y, 当该混合偏导数存在, 0, 其他. " role="presentation" style="position: relative;">{∂2F(x,y)∂x∂y,0, 当该混合偏导数存在,  其他. $$\{\begin{array}{ll}\frac{{\mathrm{\partial }}^{2}F(x,y)}{\mathrm{\partial }x\mathrm{\partial }y},& \text{ 当该混合偏导数存在, }\\ 0,& \text{ 其他. }\end{array}$$
  f(x,y)={∂x∂y∂2F(x,y)​,0,​ 当该混合偏导数存在,  其他. ​
  如果
  $${\iint }_{R^2}f(x,y)dxdy=1,$$
  则 $f(x,y)$ 是 $(X,Y)$ 的联合密度.

独立性的判断, 即看下列式子是否成立:
$$联合=边缘\times 边缘.$$

联合概率计算的例子

• 两人某天在 1 点至 2 点间独立地随机到达某地会面, 先到者等 候 20 分钟后离去. 求这两人能相遇的概率.
• 解 认为每个人在 0 至 60 分钟内等可能到达, 用 $X,Y$ 分别表示他们 的到达时间. 则 $X\sim \mathrm{U}(0,60),Y\sim \mathrm{U}(0,60),X,Y$ 独立. 利用
  f X ( x ) = f Y ( x ) = { 1 60 , x ∈ ( 0 , 60 ) , 0 , x ∉ ( 0 , 60 ) , f_{X}(x)=f_{Y}(x)=
  {160,x∈(0,60),0,x∉(0,60)," role="presentation" style="position: relative;">{160,0,x∈(0,60),x∉(0,60),$$\{\begin{array}{ll}\frac{1}{60},& x\in (0,60),\\ 0,& x\notin (0,60),\end{array}$$
  fX​(x)=fY​(x)={601​,0,​x∈(0,60),x∈/(0,60),​
  得到 $(X,Y)$ 的联合密度
  f ( x , y ) = f X ( x ) f Y ( y ) = { 1 / 6 0 2 , ( x , y ) ∈ D , 0 , ( x , y ) ∉ D . f(x, y)=f_{X}(x) f_{Y}(y)=
  {1/602,(x,y)∈D,0,(x,y)∉D." role="presentation" style="position: relative;">{1/602,0,(x,y)∈D,(x,y)∉D.$$\{\begin{array}{ll}1/{60}^2,& (x,y)\in D,\\ 0,& (x,y)\notin D.\end{array}$$
  f(x,y)=fX​(x)fY​(y)={1/602,0,​(x,y)∈D,(x,y)∈/D.​
  其中 $D=\{(x,y)\mid 0\le x,y\le 60\}$.
  $$A=\{(x,y)||x-y\mid \le 20,(x,y)\in D\}.$$
  要计算的概率是
  P ( ∣ X − Y ∣ ≤ 20 ) = ∬ A f ( x , y ) d x d y = 6 0 2 − 4 0 2 6 0 2 = 5 9 .
  P(|X−Y|≤20)=∬Af(x,y)dxdy=602−402602=59." role="presentation" style="position: relative;">P(|X−Y|≤20)=∬Af(x,y)dxdy=602−402602=59.$$\begin{array}{rl}P(|X-Y|\le 20)& ={\iint }_{A}f(x,y)dxdy\\ & =\frac{{60}^2-{40}^2}{{60}^2}=\frac{5}{9}.\end{array}$$
  P(∣X−Y∣≤20)​=∬A​f(x,y)dxdy=602602−402​=95​.​
  

3.2 随机变量函数的分布

例题

设二维随机变量 $(X,Y)$ 的概率密度为
f ( x , y ) = { 1 , 0 < x < 1 , 0 < y < 2 x , 0 ,  其他.  f(x, y)=

{1,0<x<1,0<y<2x,0, 其他. " role="presentation" style="position: relative;">{1,0,0<x<1,0<y<2x, 其他. $$\{\begin{array}{ll}1,& 0<x<1,0<y<2x,\\ 0,& \text{ 其他. }\end{array}$$

f(x,y)={1,0,​0<x<1,0<y<2x, 其他. ​
求:
(I) $(X,Y)$ 的边缘概率密度 $f_X(x),f_Y(y)$;
(II) $Z=2X-Y$ 的概率密度 $f_Z(z)$.

解
(I) 注意到 $f(x,y)$ 在 $X$-型区域 { 0 < y < 2 x , 0 < x < 1 \left\{

0<y<2x,0<x<1" role="presentation" style="position: relative;">0<y<2x,0<x<1$$\begin{array}{l}0<y<2x,\\ 0<x<1\end{array}$$

\right. {0<y<2x,0<x<1​ 上有非零表达式, 该区域可以转化为 $Y$-型区 域 { y 2 < x < 1 , 0 < y < 2 .  \left\{

y2<x<1,0<y<2. " role="presentation" style="position: relative;">y2<x<1,0<y<2. $$\begin{array}{l}\frac{y}{2}<x<1,\\ 0<y<2\text{. }\end{array}$$

\right. {2y​<x<1,0<y<2. ​ 则
f X ( x ) = ∫ − ∞ + ∞ f ( x , y ) d y = { ∫ 0 2 x   d y , 0 < x < 1 , 0 ,  其他.  = { 2 x , 0 < x < 1 , 0 ,  其他.  f Y ( y ) = ∫ − ∞ + ∞ f ( x , y ) d x = { ∫ y 2 1   d x , 0 < y < 2 , 0 ,  其他.  = { 1 − y 2 , 0 < y < 2 , 0 ,  其他. 

fX(x)=∫−∞+∞f(x,y)dy={∫02x dy,0<x<1,0, 其他. ={2x,0<x<1,0, 其他. fY(y)=∫−∞+∞f(x,y)dx={∫y21 dx,0<y<2,0, 其他. ={1−y2,0<y<2,0, 其他. " role="presentation" style="position: relative;">fX(x)=∫+∞−∞f(x,y)dy={∫2x0 dy,0,0<x<1, 其他. ={2x,0,0<x<1, 其他. fY(y)=∫+∞−∞f(x,y)dx={∫1y2 dx,0,0<y<2, 其他. ={1−y2,0,0<y<2, 其他. $$\begin{array}{rl}& f_X(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}y=\{\begin{array}{ll}{\int }_0^{2x}\mathrm{d}y,& 0<x<1,\\ 0,& \text{ 其他. }\end{array}=\{\begin{array}{ll}2x,& 0<x<1,\\ 0,& \text{ 其他. }\end{array}\\ \\ & f_Y(y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}x=\{\begin{array}{ll}{\int }_{\frac{y}{2}}^1\mathrm{d}x,& 0<y<2,\\ 0,& \text{ 其他. }\end{array}=\{\begin{array}{ll}1-\frac{y}{2},& 0<y<2,\\ 0,& \text{ 其他. }\end{array}\end{array}$$

​fX​(x)=∫−∞+∞​f(x,y)dy={∫02x​ dy,0,​0<x<1, 其他. ​={2x,0,​0<x<1, 其他. ​fY​(y)=∫−∞+∞​f(x,y)dx={∫2y​1​ dx,0,​0<y<2, 其他. ​={1−2y​,0,​0<y<2, 其他. ​​
(II) 用积分转化法. 此时 $g(x,y)=2x-y$. 对任何有界连续函数 $h(z)$,
∫ − ∞ + ∞ ∫ − ∞ + ∞ h [ g ( x , y ) ] f ( x , y ) d x   d y = ∫ 0 1 ( ∫ 0 2 x h ( 2 x − y ) ⋅ 1   d y ) d x = ∫ 0 1 ( ∫ 2 x 0 h ( z ) ( − 1 ) d z ) d x (  换元  z = 2 x − y ) = ∫ 0 1 ( ∫ 0 2 x h ( z ) d z ) d x = ∫ 0 2 ( h ( z ) ∫ z 2 1   d x ) d z  (交换积分次序)  = ∫ 0 2 h ( z ) ( 1 − z 2 ) d z ,

∫−∞+∞∫−∞+∞h[g(x,y)]f(x,y)dx dy=∫01(∫02xh(2x−y)⋅1 dy)dx=∫01(∫2x0h(z)(−1)dz)dx( 换元 z=2x−y)=∫01(∫02xh(z)dz)dx=∫02(h(z)∫z21 dx)dz (交换积分次序) =∫02h(z)(1−z2)dz," role="presentation" style="position: relative;">∫+∞−∞∫+∞−∞h[g(x,y)]f(x,y)dx dy=∫10(∫2x0h(2x−y)⋅1 dy)dx=∫10(∫02xh(z)(−1)dz)dx( 换元 z=2x−y)=∫10(∫2x0h(z)dz)dx=∫20(h(z)∫1z2 dx)dz (交换积分次序) =∫20h(z)(1−z2)dz,$$\begin{array}{rl}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}h[g(x,y)]f(x,y)\mathrm{d}x\mathrm{d}y& ={\int }_0^1\left({\int }_0^{2x}h(2x-y)\cdot 1\mathrm{d}y\right)\mathrm{d}x\\ & ={\int }_0^1\left({\int }_{2x}^{0}h(z)(-1)\mathrm{d}z\right)\mathrm{d}x(\text{ 换元 }z=2x-y)\\ & ={\int }_0^1\left({\int }_0^{2x}h(z)\mathrm{d}z\right)\mathrm{d}x\\ & ={\int }_0^2\left(h(z){\int }_{\frac{z}{2}}^1\mathrm{d}x\right)\mathrm{d}z\text{ (交换积分次序) }\\ & ={\int }_0^{2}h(z)\left(1-\frac{z}{2}\right)\mathrm{d}z,\end{array}$$

∫−∞+∞​∫−∞+∞​h[g(x,y)]f(x,y)dx dy​=∫01​(∫02x​h(2x−y)⋅1 dy)dx=∫01​(∫2x0​h(z)(−1)dz)dx( 换元 z=2x−y)=∫01​(∫02x​h(z)dz)dx=∫02​(h(z)∫2z​1​ dx)dz (交换积分次序) =∫02​h(z)(1−2z​)dz,​
得 $Z$ 的概率密度为
f Z ( z ) = { 1 − z 2 , 0 < z < 2 , 0 ,  其他.  f_{Z}(z)=

{1−z2,0<z<2,0, 其他. " role="presentation" style="position: relative;">{1−z2,0,0<z<2, 其他. $$\{\begin{array}{ll}1-\frac{z}{2},& 0<z<2,\\ 0,& \text{ 其他. }\end{array}$$

fZ​(z)={1−2z​,0,​0<z<2, 其他. ​

3.3 条件分布和条件密度

条件分布

• 设 $\mathbf{X}=\left(X_1,X_2,\cdots ,X_n\right),\mathbf{Y}=\left(Y_1,Y_2,\cdots ,Y_m\right)$ 是随机向量, 本节讨 论已知 $\mathbf{X}=\left(x_1,x_2,\cdots ,x_m\right)$ 的条件下, $\mathbf{Y}$ 的概率分布.
• 为了叙述的简单, 我们只对 $n=m=1$ 的情况详细讨论.
  离散型随机变量的条件分布
• 设 $(X,Y)$ 是离散型随机向量, 有概率分布
  $$p_{ij}=P\left(X=x_i,Y=y_j\right)>0,i,j=1,2,\cdots ,$$
• $X,Y$ 分别有边缘分布
  $$p_i=P\left(X=x_i\right),q_j=P\left(Y=y_j\right),i,j=1,2,\cdots .$$
• 对每个固定的 $i$, 由条件概率公式得到条件概率
  $$P\left(Y=y_j\mid X=x_i\right)=\frac{P\left(X=x_i,Y=y_j\right)}{P\left(X=x_i\right)}=\frac{p_{ij}}{p_i},j=1,2,\dots$$
  为条件 $X=x_i$ 下, $Y$ 的条件概率分布, 简称为条件 分布 (conditional distribution).

条件密度

• 设随机向量 $(X,Y)$ 有联合密度 $f(x,y),X$ 有边缘密度 $f_X(x)$, 若在 $x$ (确定的 $x)$ 处 $f_X(x)>0$, 就称
  $$P(Y\le y\mid X=x)={\int }_{-\infty }^y\frac{f(x,t)}{f_X(x)}dt,y\in \mathbb{R}$$
  为条件 $X=x$ 下, $Y$ 的条件分布函数 (conditional distribution function), 简称为条件分布, 记做 $F_{Y\mid X}(y\mid x)$.
• 称
  $$f_{Y\mid X}(y\mid x)=\frac{f(x,y)}{f_X(x)},y\in \mathbb{R},$$
  为条件 $X=x$ 下, $Y$ 的条件概率密度, 简称为条件密度 (conditional density).

4. 随机变量的数字特征

4.1 数学期望

数学期望定义一离散型

• 定义 $1.1$ 设 $X$ 有概率分布
  $$p_j=P\left(X=x_j\right),j=0,1,\cdots ,$$
  只要级数 ${\sum }_{j=0}^{\infty }\left|x_j\right|p_j$ 收敛, 就称
  $$\mathrm{E}(X)=\sum _{j=0}^{\infty }{x}_j{p}_j$$
  为 $X$ 或分布 { p j } \left\{p_{j}\right\} {pj​} 的数学期望 (expected value) 或均值 (mean).
• 要求 ${\sum }_{j=0}^{\infty }\left|x_j\right|p_j$ 收敛的原因是要使上式中的级数有确 切的意义.
• 当所有的 $x_j$ 非负时, 如果 上式中的级数是无穷, 由上式定义的 $\mathrm{E}(X)$ 也有明确的意义, 它表明 $X$ 的平均取值是无穷. 这时也称 $X$ 的 数学期望是无穷.
• 不难看出, 只取有限个值的随机变量的数学期望总是存在的.

数学期望定义一连续型

• 设 $X$ 是有概率密度 $f(x)$ 的随机变量, 如果下式成立,
  $${\int }_{-\infty }^{\infty }|x|f(x)dx<\infty ,$$
  就称
  $${\int }_{-\infty }^{\infty }xf(x)dx$$
  为 $X$ 或 $f(x)$ 的数学期望或均值.

• 由于随机变量的数学期望由随机变量的概率分布唯一决定, 所以也可 以对概率分布定义数学期望.

• 概率分布的数学期望就是以它为概率分布的随机变量的数学期望. 有 相同分布的随机变量必有相同的数学期望.

期望的计算

计算公式
E ( X ) = ∫ − ∞ + ∞ x f ( x ) d x , E ( g ( X ) ) = ∫ − ∞ + ∞ g ( x ) f ( x ) d x . E ( g ( X ) ) = ∑ k = 1 ∞ g ( x k ) p k

E(X)=∫−∞+∞xf(x)dx,E(g(X))=∫−∞+∞g(x)f(x)dx.E(g(X))=∑k=1∞g(xk)pk" role="presentation" style="position: relative;">E(X)E(g(X))E(g(X))=∫+∞−∞xf(x)dx,=∫+∞−∞g(x)f(x)dx.=∑k=1∞g(xk)pk$$\begin{array}{rl}E(X)& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)\mathrm{d}x,\\ \\ E(g(X))& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x)f(x)\mathrm{d}x.\\ \\ E(g(X))& =\sum _{k=1}^{\mathrm{\infty }}g\left(x_k\right)p_k\end{array}$$

E(X)E(g(X))E(g(X))​=∫−∞+∞​xf(x)dx,=∫−∞+∞​g(x)f(x)dx.=k=1∑∞​g(xk​)pk​​

数学期望的几个重要性质

1. 设 $C$ 是常数, 则有 $E(C)=C$
2. 设 $\mathrm{X}$ 是随机变量, $\mathrm{C}$ 是常数, 则有 $E(CX)=CE(X)$
3. 设 $\mathrm{X},\mathrm{Y}$ 是两个随机变量, 则有 $E(X+Y)=E(X)+E(Y)$;
4. 设 $X,Y$ 是相互独立的随机变量，则有 $E(XY)=E(X)E(Y)$

4.2 方差的性质与计算

方差的计算:

D ( X ) = E [ ( X − E ( X ) ) 2 ] = E ( X 2 ) − ( E ( X ) ) 2 .

D(X)=E[(X−E(X))2]=E(X2)−(E(X))2." role="presentation" style="position: relative;">D(X)=E[(X−E(X))2]=E(X2)−(E(X))2.$$\begin{array}{rl}D(X)& =E\left[(X-E(X){)}^2\right]\\ & =E\left(X^2\right)-(E(X){)}^2.\end{array}$$

D(X)​=E[(X−E(X))2]=E(X2)−(E(X))2.​

记 $E(X)=\mu$, 由方差定义式 $D(X)=E\left[(X-\mu {)}^2\right]$, 可见方差其实是一个期望, 是随机变量函 数 $(X-\mu {)}^2$ 的期望. 由随机变量函数期望的求法, 故有
$$D(X)={\int }_{-\infty }^{+\infty }(x-\mu {)}^{2}f(x)\mathrm{d}x.$$
方差的性质:

• $D(C)=0$,
• $D(X+C)=D(X)$.
• $D(aX)=a^{2}D(X),D(-X)=D(X)$.
• $D(X+Y)=D(X)+D(Y)+2\mathrm{Cov}(X,Y)$.
  $X$ 与 $Y$ 不相关 $\iff D(X+Y)=D(X)+D(Y)$.
  $X$ 与 $Y$ 相互独立 $⟹D(X+Y)=D(X)+D(Y)$.
• $D(aX\pm bY)=a^{2}D(X)+b^{2}D(Y)$, 其中 $X$ 与 $Y$ 相互独立.

例题

设随机变量 $X,Y$ 相互独立, 且都服从均值为 0 , 方差为 $\frac{1}{2}$ 的正态分布. 求随机变量 $|X-Y|$ 的方 差,
解 令 $Z=X-Y$. 由题设知, $Z\sim N(0,1)$. 对
D ( ∣ X − Y ∣ ) = D ( ∣ Z ∣ ) = E ( ∣ Z ∣ 2 ) − [ E ( ∣ Z ∣ ) ] 2 = E ( Z 2 ) − [ E ( ∣ Z ∣ ) ] 2

D(|X−Y|)=D(|Z|)=E(|Z|2)−[E(|Z|)]2=E(Z2)−[E(|Z|)]2" role="presentation" style="position: relative;">D(|X−Y|)=D(|Z|)=E(|Z|2)−[E(|Z|)]2=E(Z2)−[E(|Z|)]2$$\begin{array}{rl}D(|X-Y|)& =D(|Z|)=E\left(|Z{|}^2\right)-[E(|Z|){]}^2\\ & =E\left(Z^2\right)-[E(|Z|){]}^2\end{array}$$

D(∣X−Y∣)​=D(∣Z∣)=E(∣Z∣2)−[E(∣Z∣)]2=E(Z2)−[E(∣Z∣)]2​
由 $E\left(Z^2\right)=D(Z)+[E(Z){]}^2=1+0=1$, 且
E ( ∣ Z ∣ ) = 1 2 π ∫ − ∞ + ∞ ∣ z ∣ e − z 2 / 2   d z = 2 2 π ∫ 0 + ∞ ∣ z ∣ e − z 2 / 2   d z = 2 2 π ∫ 0 + ∞ z e − z 2 / 2   d z = − 2 2 π ∫ 0 + ∞ d ( e − z 2 / 2 ) = 2 2 π e − z 2 / 2 ∣ 0 + ∞ = 2 π

E(|Z|)=12π∫−∞+∞|z|e−z2/2 dz=22π∫0+∞|z|e−z2/2 dz=22π∫0+∞ze−z2/2 dz=−22π∫0+∞d(e−z2/2)=22πe−z2/2|0+∞=2π" role="presentation" style="position: relative;">E(|Z|)=12π−−√∫+∞−∞|z|e−z2/2 dz=22π−−√∫+∞0|z|e−z2/2 dz=22π−−√∫+∞0ze−z2/2 dz=−22π−−√∫+∞0d(e−z2/2)=22π−−√e−z2/2∣∣∣+∞0=2π−−√$$\begin{array}{rl}E(|Z|)& =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}|z|{\mathrm{e}}^{-z^2/2}\mathrm{d}z=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}|z|{\mathrm{e}}^{-z^2/2}\mathrm{d}z=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}z{\mathrm{e}}^{-z^2/2}\mathrm{d}z\\ & =-\frac{2}{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}\mathrm{d}\left({\mathrm{e}}^{-z^2/2}\right)={\frac{2}{\sqrt{2\pi }}{\mathrm{e}}^{-z^2/2}|}_0^{+\mathrm{\infty }}\\ & =\sqrt{\frac{2}{\pi }}\end{array}$$

E(∣Z∣)​=2π ​1​∫−∞+∞​∣z∣e−z2/2 dz=2π ​2​∫0+∞​∣z∣e−z2/2 dz=2π ​2​∫0+∞​ze−z2/2 dz=−2π ​2​∫0+∞​d(e−z2/2)=2π ​2​e−z2/2∣ ∣​0+∞​=π2​ ​​
故 $D(|X-Y|)=E\left(Z^2\right)-[E(|Z|){]}^2=1-\frac{2}{\pi }$.

4.3 协方差与相关系数

协方差的计算:
Cov ⁡ ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] = E ( X Y ) − E ( X ) E ( Y ) .

Cov⁡(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)." role="presentation" style="position: relative;">Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y).$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =E[(X-E(X))(Y-E(Y))]\\ & =E(XY)-E(X)E(Y).\end{array}$$

Cov(X,Y)​=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y).​

相关系数的计算:
ρ X Y = Cov ⁡ ( X , Y ) D ( X ) D ( Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] D ( X ) D ( Y ) .

ρXY=Cov⁡(X,Y)D(X)D(Y)=E[(X−E(X))(Y−E(Y))]D(X)D(Y)." role="presentation" style="position: relative;">ρXY=Cov(X,Y)D(X)−−−−−√D(Y)−−−−−√=E[(X−E(X))(Y−E(Y))]D(X)−−−−−√D(Y)−−−−−√.$$\begin{array}{rl}{\rho }_{XY}& =\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\\ & =\frac{E[(X-E(X))(Y-E(Y))]}{\sqrt{D(X)}\sqrt{D(Y)}}.\end{array}$$

ρXY​​=D(X) ​D(Y) ​Cov(X,Y)​=D(X) ​D(Y) ​E[(X−E(X))(Y−E(Y))]​.​
随机变量的相关系数 $=$ 随机变量 “标准化” 后的协方差. 事实上, $X,Y$ 标准化为
$$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}},$$
则
$${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\mathrm{Cov}\left(X^{\ast },Y^{\ast }\right).$$
相关系数的性质

• $|\rho |⩽1$. 其中
  • $|\rho |=1⟺X$ 与 $Y$ 之间存在线性关系，即存在常数 a， b 使 P { Y = a + b X } = 1 P\{Y = a + bX\}=1 P{Y=a+bX}=1;
  • $\rho =0⟺X$ 与 $Y$ 之间不存在线性关系, 或称 $X$ 与 $Y$ 不相关.
    强调: 不相关是 “不线性相关”的简称!
• 以下命题是等价的:
  • $X$ 与 $Y$ 不相关.
  • ${\rho }_{XY}=0$.
  • $\mathrm{Cov}(X,Y)=0$.
  • $E(XY)=E(X)E(Y)$.
  • $D(X+Y)=D(X)+D(Y)$.
• $X$ 与 $Y$ 独立 $⟹X$ 与 $Y$ 不相关. 反之不一定成立.

4.4 切比雪夫不等式

P { ∣ X − E ( X ) ∣ ⩾ ε } ⩽ D ( X ) ε 2 , P\{|X-E(X)| \geqslant \varepsilon\} \leqslant \frac{D(X)}{\varepsilon^{2}}, P{∣X−E(X)∣⩾ε}⩽ε2D(X)​,
或等价地
P { ∣ X − E ( X ) ∣ < ε } ⩾ 1 − D ( X ) ε 2 . P\{|X-E(X)|<\varepsilon\} \geqslant 1-\frac{D(X)}{\varepsilon^{2}} . P{∣X−E(X)∣<ε}⩾1−ε2D(X)​.

5. 概率极限定理

中心极限定理即言: 大量独立同分布的随机变量之和, 近似服从正态分布

中心极限定理:

(1) 设随机变量 $X_1,X_2,\cdots ,X_n$ 独立同分布, $E\left(X_k\right)=\mu ,D\left(X_k\right)={\sigma }^2,k=1,2\cdots ,n$. 从而,
$$E\left(\sum _{k=1}^n{X}_k\right)=n\mu ,D\left(\sum _{k=1}^n{X}_k\right)=n{\sigma }^2.$$
则近似地有
$$\sum _{k=1}^n{X}_k\sim N\left(n\mu ,n{\sigma }^2\right),$$
上式一般用于求解和的概率问题.

进一步 “标准化” 得
$$\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\sim N(0,1).$$
等价地,
$$\frac{\frac{1}{n}{\sum }_{k=1}^n{X}_k-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$$
记 $\bar{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$, 则
$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$$
等价地,
$$\bar{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right).$$
也可以直接由 $E\left(X_k\right)=\mu ,D\left(X_k\right)={\sigma }^2$, 得 $E(\bar{X})=\mu ,D(\bar{X})=\frac{{\sigma }^2}{n}$.
上式一般用于求解平均值的概率问题.

(2) 设 $n_A$ 为 $n$ 重伯努利试验中事件 $A$ 出现的次数, 且 $A$ 在每次实验中发生的概率为 $p$. 则 $n_A$ 服从 二项分布 $B(n,p)$, 从而
$$E\left(n_A\right)=np,D\left(n_A\right)=np(1-p).$$
当 $n$ 很大时, $n_A$ 的 “标准化” 变量 $\frac{n_A-E\left(n_A\right)}{\sqrt{D(n_A})}$ 近似服从正态分布, 即
$$\frac{n_A-np}{\sqrt{np(1-p)}}\sim N(0,1).$$

例题

一生产线生产的产品成箱包装, 每箱的重量是随机的. 假设每箱平均重 50 千克, 标准差为 5 千克. 若用最大载重量为 5 吨的汽车承运, 试利用中心极限定理说明每辆车最多可以装多少箱, 才能保障不超 载的概率大于 $0.977$.

解 ：

设所求箱数为 $n$, 每箱的重量记为 $X_1,X_2,\cdots ,X_n$. 由题设可把 $X_1,X_2,\cdots ,X_n$ 视为独立同分布 随机变量. 又
$$E\left(X_i\right)=50,D\left(X_i\right)=5^2,(i=1,2,\cdots ,n)$$
根据中心极限定理, 有 ${\sum }_{i=1}^n{X}_i$ 近似服从正态分布 $\left(n\cdot 50,n\cdot 5^2\right)$.
问题即求 $n$ 使
$$P\left\{\sum _{i=1}^n{X}_i⩽5000\right\}>\mathrm{0.977.}$$
其中
P { ∑ i = 1 n X i ⩽ 5000 } = P { ∑ i = 1 n X i − 50 n 5 n ⩽ 5000 − 50 n 5 n } ≈ Φ ( 1000 − 10 n n )

P{∑i=1nXi⩽5000}=P{∑i=1nXi−50n5n⩽5000−50n5n}≈Φ(1000−10nn)" role="presentation" style="position: relative;">P{∑i=1nXi⩽5000}=P{∑ni=1Xi−50n5n−−√⩽5000−50n5n−−√}≈Φ(1000−10nn−−√)$$\begin{array}{rl}P\left\{\sum _{i=1}^n{X}_i⩽5000\right\}& =P\left\{\frac{\sum _{i=1}^n{X}_i-50n}{5\sqrt{n}}⩽\frac{5000-50n}{5\sqrt{n}}\right\}\\ & \approx \mathrm{\Phi }\left(\frac{1000-10n}{\sqrt{n}}\right)\end{array}$$

P{i=1∑n​Xi​⩽5000}​=P{5n ​∑i=1n​Xi​−50n​⩽5n ​5000−50n​}≈Φ(n ​1000−10n​)​
故
$$\Phi \left(\frac{1000-10n}{\sqrt{n}}\right)>0.977=\Phi (2),$$
即
$$\frac{1000-10n}{\sqrt{n}}>2,$$
从而 $n<98.0199$, 即最多可以装 98 箱.