图模型初识

初步认识一下有向图和无向图, 及其联合概率表示方式.

图模型, 分为两种, 有向图模型(direct model) vs 无向图模型. 通常对于有向图模型, 我们也称为 Beyesian Network (贝叶斯网络)

假设一个常见的有向图, 通常是根据业务场景提前所定义好的(变量间的关系已知):

a -> c; b-> c;

c -> d; d -> e

也表达了一种先后关系

对于这样的有向图来说, 是非常容易写出其 联合概率 的:

\(p(a,b,c,d,e) = p(a)\ p(b) \ p(c|a,b) \ p(d|c) \ p(e|d)\)

好像理解了为啥条件概率要 用 "|", 左侧写结论, 右侧写条件....因为很符合常识呀, 从左到右...

通过这种条件概率的方式还是比较好表示这种图元素关系的, 再比如:

a -> c; b -> c;

c -> e; d -> e;

同样的方法来表示其联合概率为:

\(p(a,b,c,d,e) = p(a) \ p(b) \ p(c|a,b) \ p(e|c, d)\)

举个小的案例, 就图像分割吧.

图像的其实就是一个个的像素点, 可能明显地能分成3簇, 或者4簇, 不确定, 根据像素点间的距离来"聚类", 越相邻则当做一类, 这样无序地连接起来就是有一个无向图的过程呀, 然后就将图片分割成几个"大块"了.

假设有这样一个无向图:

a --- c

a ----b ----d ----e

f ---d; f ---e

同样, 这个联合概率, 应该咋写呢? 不能用条件概率了, 因为没有方向不明确了.

对于此种情况, 可以定义一个能量函数 (energy function), 它其实意味着, 不同变量之间, 共同出现的概率大小 或是 紧密度 或 相关性有多少.

基于此, 可以对无向图进行一个变量划分, 分为一簇一簇的(两两相连), 具体怎么分也是看什么假设的. 就假设吧上面的案例分为 3个簇:

a, b, c

b, d

d, e, f

则相对于将 \(p(a, b, c, d, e, f)\)

\(\phi_1(a,b,c) \ * \phi_2 (b, d) * \phi_3 (d,e,f)\)

\(\phi\)

也就是 a, b, c, d, e, f 的 紧密度 跟 这 3个 \(\phi\) 的模块 紧密度是相关的, 因此将其相乘 但, 需注意的一点是, 可以将 \(\phi_1, \phi_2, \phi_3\) 看作是 score_1, score_2, score_3, 但不等于概率哦, 然而, 我们的需求,又是要求出概率, 因此问题在于, 如何将 score 变为我们要的概率呢?

其实, 就类似于 古典概型 就好了呀. 把每部分加总起来得到一个 总体值, 然后计算部分的占比,作为概率即可, 令:

\(z = \sum \limits _{a,b,c,d,e,f} \phi_1(a,b,c) \ * \phi_2 (b, d) * \phi_3 (d,e,f)\)

则:

\(p(a, b, c, d, e, f) = \frac {1}{z} \phi_1(a,b,c) \ * \phi_2 (b, d) * \phi_3 (d,e,f)\)

通常这个过程也被叫做 Normalization (正规化, 归一化) 的过程, 或者叫 Partition Function.

这里有一个难点是如何 计算 z ? 如果是离散型, 通常用 动态规划, 连续型, 就用一些近似的估计. 因此可以发现, 在求联合概率的时候,

无向图的核心在于 如何定义 score 函数, 不同的score函数,得到的结果也不同的

栗子: 定义 score

假设有一个无向图, 就三角形3个顶点 a, b, c

为了更直观, 就假设 a, b, c 代表3个不同的人, 需求是看这个 3个老铁, 组队打篮球竞争力如何(概率 0-1)

然后就相对于一个特征提取

a, b, c 是否是一个学院 --> 提取特征 --> f1a, b, c 是否打不同的位置 --> 提取特征 --> f2a, b, c 是否经常一起打球 --> 提取特征 --> f3

定义 score(a, b, c), 其实就看不同模型的, 比如可以这样

\(score(a, b, c) = w_1 f_1 + w_2 f_2 + w_3 f_3\)

也可以像 CRF 模型那样定义:

\(log \ score(a, b, c) = \sum \limits _i w_i f_i\)

这一类也称为 log linear model 如典型的 逻辑回归, CRF 等.

无向图完全取决于如何定义 score 函数, 从而训练出不同的模型.

对于无向图其实没有绝对的 分割块的方法, 这也取决于你如何定义, 比如, 我就要以拆分为 配对的形式, 同样是上面的图而言:

\(p(a, b, c, d, e) = \frac {1}{z} \phi_1(a, c) \ \phi_2(b, c) \ \phi_3(a, b) \ \phi_4(b, d) \ \phi_5(a, c) \ \phi_6(f, d) \ \phi_7(f, e)\)

没有固定的方式哦, 完全取决我们的理解和假设. 这个过程是一个提取特征 的过程, 这里的 a, b, c, e, e, f 可以看作是实例(样本) 不是特征变量.

对于模型的影响, 通俗理解就是, 有向图,是类似一个贪心算法, 每次只寻找局部的一个最优解. 而无向图则相当于考虑全局, 会更全面一点.

这篇呢, 目的就是为了初步认识一下图模型, 同时给 HMM 和 CRF 模型提前预热一波, 至于无向图, 后面再重新来认识一波 逻辑回归就清楚了呀, 不要着急.

耐心和恒心, 总会获得回报的.