条件期望：Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了

我知道有很多人理解不了 “条件期望” (Conditional Expectation) 这个东西，有的时候没看清把随机变量看成事件，把 σσ-algebra 看成随机变量从而思路全错的时候，我也会觉得莫名奇妙。所以在这里用一个极其简单的例子解释一下，只要你是一只上过高中的草履虫那就能听懂。

我们来丢一枚质地均匀的硬币（意味着得到正面与反面的概率各为 1212），连丢两次并记录两次结果。那么很容易可以写出全集 Ω={HH,HT,TH,TT} ，H 和 T 分别代表正面和反面。现在是第一个需要稍加思考的地方，令 G 为一个 σ-algebra，其中包括了第一次丢硬币结果的信息，请问 G 是什么？

---

稍加思考，不难得出 G={Ω, ∅, {HH,HT}, {TT,TH}}，这里也做出一个解释。首先要明确的是，Ω 中的元素 (例如 HH) 和 G 中的元素 (例如 {HH,HT}) 之间的区别：前者是结果 (outcome)，后者是事件 (event)。我们对于一次 “抽样”，只能得到一种结果，例如 HH，代表丢两次硬币后得到两个正面的结果。但不同的结果由于共享某些特性，可以被划分在同一个事件当中，例如，丢两次硬币产生相同的结果应有两种，即同时为正面或同时为背面 (i.e. HH 或 TT)，它们归属于 “丢两次硬币产生相同的结果” 的事件：{HH,TT}。回到问题，现在我们已知了第一次丢硬币后结果的信息，也就是 "第一次丢硬币是正面还是背面"，那么我们自然可以得出 G 是由集类：{{HH,HT}, {TT,TH}} 生成的 σ-algebra。这是因为第一次扔硬币的结果已经被确定——无论它是正面还是背面：如果是正面，那么结果无非两种：两次都正面或第一次正面第二次背面；如果是背面，结果也无非两种：两次都背面或第一次背面第二次正面。结合以下树结构，在得知第一次扔硬币结果的信息后，相当于从根 XX 来到了第一层 HX 或 TX （X 代表未知信息）。

---

---

同时，这也从另一个角度说明为什么概率论最终需要引入 “测度” 的定义——为了描述一种信息变化的过程。当我们并不知道第一次扔硬币的结果时，在全空间 Ω 上定义的测度空间为 (Ω,F,P)，其中：

F:={Ω, ∅, {HH}, {HT}, {TH}, {TT}, {HH,HT},…}

where F 的 cardinality: |F|=24=16。

而当已知第一次的信息后，σ-algebra 随即收缩为：

G:={Ω, ∅, {HH,HT}, {TH,TT}}

现在考虑条件期望： E[X | G]。其中，G 如上记作第一次丢完硬币后结果的全部信息，对于 ∀w∈Ω: 随机变量 X 定义为：

X(w)={aif  w=HHbif  w=HTcif  w=THdif  w=TT

其中 a,b,c,d≥0。

---

Definition. (Conditional Expectation)

令 X 为一个定义在 (Ω,F,P) 上的非负随机变量。令 G1,G2,… 为一个两两不相交的事件序列，且对于 ∀n∈N+: P(Gn)>0，并且 ⋃n∈N+Gn=Ω。令 G 为包含 {G1,G2,…} 的最小 σ-algebra，即，任意 G 的元素都可以写作 ⋃n∈IGn 的形式，其中 I⊂N+ (I 为 N+ 的某些子集)。那么：

E[X | G](w)=E[X | Gn]=E[X⋅IGn]P(Gn)if w∈Gn

首先，IGn是一个随机变量，或者说函数：

IGn:Ω⟶{0,1},x⟶IGn(x)={1if x∈Gn0otherwise

因此则可以判定，Conditional Expectation E[X | G] 算出来也是一个随机变量，而并非常数。最后，我们可以发现一旦假设 w∈Gn，那么一定意味着 w∉Gk, ∀k∈N+∖{n}。

---

回到扔硬币的例子。这里显然我们有：G1={HH,HT}, G2={TT,TH}，且 G1∪G2=Ω。那么。我们现在只需要依次假设 w∈Gn， 并求 E[X⋅IGn]P(Gn)，最后分类讨论逐点列出即可。

• 假设 w∈G1={HH,HT}，

E[X | G](w)=E[X⋅IG1, w∈G1]P(G1)=∑w∈G1E[X⋅IG1 | w∈G1]⋅P({w})P(G1)=∑w∈G1X(w)⋅P({w})P(G1)=X(HH)⋅P({HH})+X(HT)⋅P({HT})P({HH,HT})=14⋅a+14⋅b12=a+b2

---

• 假设 w∈G2={TT,TH}，

E[X | G](w)=E[X⋅IG2, w∈G2]P(G2)=∑w∈G2E[X⋅IG2 | w∈G2]⋅P({w})P(G2)=∑w∈G2X(w)⋅P({w})P(G2)=X(TT)⋅P({TT})+X(TH)⋅P({TH})P({TT,TH})=14⋅c+14⋅d12=c+d2

---

综上所述：

E[X | G](w)={a+b2if  w∈{HH,HT}c+d2if  w∈{TT,TH}0otherwise