图与概率

图的符号与术语

• 图由顶点集（或节点集）$V$和连接顶点对的边集（或链接集）$E$组成。图中的顶点对应用于变量，边表示变量对之间的某种关系。由边连接的两个变量称为相邻变量。
• 我们会使用“双向”边来表示未观察到的共同原因（有时称为混杂因子）
• 有向图可以包含有向环（例如，$X\to Y,Y\to X$）,表示相互因果关系或反馈过程，但不包含自循环（例如，$X\to X$）
• 如果有向图中的节点没有父节点，称其为根节点，若没有子节点，则称其为汇聚节点
• 每个节点最多有一个子节点的树称为链。
• 每对节点均有边相连的图称为完全图。

贝叶斯网络

• 图在概率与统计建模中的作用有三个方面：
  • 提供便捷的方法在表示众多的假定
  • 便于联合概率函数的简约表示
  • 便于从观察中进行有效推断
• 无向图有时称为马尔可夫网络，主要用于表示对称的空间关系。
• 有向图，尤其是无环图，用于表示因果关系或时间关系，这种图称为贝叶斯网络。
• 贝叶斯网络强调3个方面：
  • 输入信息的主观属性
  • 依赖贝叶斯条件作为信息更新的基础
  • 区分推理的因果模式和证据模式
• 假设我们有一个定义在n个离散变量上的分布P，我们可以将变量任意排序为$X_1,X_2,\cdots ,X_n$。根据概率演算的链式法则允许我们将$P$分解为$n$个条件分布的乘积：
  $$P(x_1,\cdots ,x_n)=\prod _{j}P(x_j|x_1,\cdots ,x_{j-1})$$
  现在假设某些变量$X_j$的条件概率不是对$X_j$的所有前驱变量敏感，而仅对其中的小部分敏感。我们将这部分敏感的前驱变量记为$P{A}_j$，那么可以将乘积写为：
  $$P(x_j|x_1,\cdots ,x_{j-1})=P(x_j|p{a}_j)$$
  我们仅需要关注集合$P{A}_j$的可能情况，而不需要将$X_j$的所有前驱变量$X_1,\cdots ,X_{j-1}$的可能情况作为条件来确定$X_j$的概率。
• 集合$P{A}_j$称为$X_j$的马尔可夫父代变量集合。
• 概率分布$P$的贝叶斯网络是有向无环图$G$的一个必要条件是$P$容许图$G$所确定的乘积分解。
• 马尔可夫相容性：如果概率函数$P$容许有向无环图G所确定的乘积分解，那么我们认为$G$表示$P$、$G$与$P$ 相容，$P$与$G$马尔可夫相关。
• 在统计建模中，确定DAG和概率之间的相容性非常重要，主要是因为相容性是有向无环图$G$解释$P$表示的经验数据的充分必要条件。

$d$-分离准则

• 路径$p$被节点集$Zd$-分离（或阻断），当且仅当：
  • $p$包含了一个链$i\to m\to j$或一个分叉$i\leftarrow m\to j$，而中间节点$m$在$Z$中，或者
  • $p$包含一个反向分叉（或对撞）$i\to m\leftarrow j$，而中间节点$m$以及$m$的任何后代节点都不在$Z$中。
• 集合$Z$将$X$与$Y$ $d$-分离当且仅当$Z$阻断了从$X$中每个节点到$Y$中每个节点的所有路径。
• 对两个独立原因的共同结果的观察会使这两个原因相关，因为如果结果已经发生，其中一个原因的信息会使另一个原因的可能性变大或变小。
• $d$-分离的概率含义：如果$X$和$Y$在有向无环图$G$中被$Zd$-分离，那么在每一个与$G$相容的分布中，以$Z$为条件时，$X$独立于$Y$。反之，如果$X$和$Y$在有向无环图$G$中未被$Zd$-分离，那么至少存在一个与$G$相容的分布，以$Z$为条件时，$X$与$Y$相关。

贝叶斯网络推断