自然语言处理常用模型方法总结(2)

对于(X，Y)，C由局部特征向量f和对应的权重向量λ确定。对于输入数据序列x和标注结果序列y，条件随机场C的全局特征表示为

F y,x f y,x,i

i ⑴

其中i遍历输入数据序列的所有位置，f(y,x，i)表示在i位置时各个特征组成的特征向量。于是，CRFs定义的条件概率分布为

p (Y,X)

其中 exp F Y,X Z X ⑵

Z X exp F y,x y ⑶

给定一个输入数据序列X，标注的目标就是找出其对应的最可能的标注结果序列了，即 y argmaxp y|x y ⑷

由于Zλ(X)不依赖于y，因此有

N元模型、马尔可夫模型以及隐马尔可夫模型、最大熵模型、支持向量机、条件随机场

y argmaxp y|x argmax F y,x yy ⑸

CRFs模型的参数估计通常采用L—BFGS算法实现，CRFs解码过程，也就是求解未知串标注的过程，需要搜索计算该串上的一个最大联合概率，解码过程采用Viterbi算法来完成。

CRFs具有很强的推理能力，能够充分地利用上下文信息作为特征，还可以任意地添加其他外部特征，使得模型能够获取的信息非常丰富。CRFs通过仅使用一个指数模型作为在给定观测序列条件下整个标记序列的联合概率，使得该模型中不同状态下的不同特征权值可以彼此交替，从而有效地解决了其他非生成有向图模型所产生的标注偏置的问题。这些特点，使得CRFs从理论上讲，非常适合中文词性标注。‘

总结

首先，CRF，HMM(隐马模型)都常用来做序列标注的建模，像词性标注，True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择，而另外一种称为最大熵隐马模型则解决了这一问题，可以任意的选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题（label bias），即凡是训练语料中未出现的情况全都忽略掉，而条件随机场则很好的解决了这一问题，他并不在每一个节点进行归一化，而是所有特征进行全局归一化，因此可以求得全局的最优值。目前，条件随机场的训练和解码的开源工具还只支持链式的序列，复杂的尚不支持，而且训练时间很长，但效果还可以。最大熵隐马模型的局限性在于其利用训练的局部模型去做全局预测。其最优预测序列只是通过viterbi算法将局部的最大熵模型结合而成的。 条件随机场，隐马模型，最大熵隐马模型这三个模型都可以用来做序列标注模型。但是其各自有自身的特点，HMM模型是对转移概率和表现概率直接建模，统计共现概率。而最大熵隐马模型是对转移概率和表现概率建立联合概率，统计时统计的是条件概率。最大熵隐马模型容易陷入局部最优，是因为最大熵隐马模型只在局部做归一化，而CRF模型中，统计了全局概率，在 做归一化时，考虑了数据在全局的分布，而不是仅仅在局部归一化，这样就解决了MEMM中的标记偏置的问题。