概率图模型（Probabilistic Graphical Model，PGM），简称图模型（Graphical Model，GM），是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型，从而给研究高维空间中的概率模型带来了很大的便捷性．在本书中，随机变量用斜体的大写字母表示，其取值用斜体的小写字母表示；随机向量用粗斜体的大写字母表示，其取值用粗斜体的小写字母表示．对于一个𝐾 维随机向量𝑿 = [𝑋1, 𝑋2, ⋯ , 𝑋𝐾]T，其联合概率为高维空间中的分布，一般难以直接建模．假设每个变量为离散变量并有 𝑀 个取值，在不作任何独立假设条件下，则需要𝑀𝐾 −1个参数才能表示其概率分布．当𝑀 = 2, 𝐾 = 100时，参数量约为1030，远远超出了目前计算机的存储能力．一种有效减少参数量的方法是独立性假设．一个 𝐾 维随机向量 𝑿 的联合概率分解为𝐾 个条件概率的乘积，𝑝(𝒙) ≜ 𝑃(𝑿 = 𝒙) (11.1)=𝐾∏𝑘=1𝑝(𝑥𝑘|𝑥1, ⋯ , 𝑥𝑘−1), (11.2)其中 𝑥𝑘 表示变量 𝑋𝑘 的取值．如果某些变量之间存在条件独立，其参数量就可以大幅减少．假设有四个二值变量 𝑋1, 𝑋2, 𝑋3, 𝑋4，在不知道这几个变量依赖关系的情况下，可以用一个联合概率表来记录每一种取值的概率𝑝(𝒙1∶4)，共需要24 −1 = 15个参数．假设在已知𝑋1 时，𝑋2 和𝑋3 独立，即有𝑝(𝑥2|𝑥1, 𝑥3) = 𝑝(𝑥2|𝑥1), (11.3)𝑝(𝑥3|𝑥1, 𝑥2) = 𝑝(𝑥3|𝑥1). (11.4)11.1 模型表示 2020 年 6 月 14 日 254在已知𝑋2 和𝑋3 时，𝑋4 也和𝑋1 独立，即有𝑝(𝑥4|𝑥1, 𝑥2, 𝑥3) = 𝑝(𝑥4|𝑥2, 𝑥3), (11.5)那么其联合概率𝑝(𝒙)可以分解为𝑝(𝒙) = 𝑝(𝑥1)𝑝(𝑥2|𝑥1)𝑝(𝑥3|𝑥1, 𝑥2)𝑝(𝑥4|𝑥1, 𝑥2, 𝑥3), (11.6)= 𝑝(𝑥1)𝑝(𝑥2|𝑥1)𝑝(𝑥3|𝑥1)𝑝(𝑥4|𝑥2, 𝑥3), (11.7)即4个局部条件概率的乘积．如果分别用4个表格来记录这4个条件概率的话，只需要1 + 2 + 2 + 4 = 9个独立参数．当概率模型中的变量数量比较多时，其条件依赖关系也比较复杂．我们可以使用图结构的方式将概率模型可视化，以一种直观、简单的方式描述随机变量之间的条件独立性，并可以将一个复杂的联合概率模型分解为一些简单条件概率模型的组合．图11.1给出了上述例子中4个变量之间的条件独立性的图形化描述．图中每个节点表示一个变量，每条连边表示变量之间的依赖关系．