概率圖模型之間的關係

• 2021 年 12 月 14 日
• 筆記
• ML / DL

概率圖模型

這篇文章主要想總結一下樸素貝葉斯、最大熵、隱馬爾可夫和條件隨機場這四個概率圖模型之間的一些聯繫與區別。樸素貝葉斯假設條件獨立性，在給定目標值 y 時，x 之間是相互獨立的，對於序列來說，它不會去考慮單個位置之間的相互依賴。隱馬爾可夫假設觀測序列在連續相鄰位置間的狀態存在依賴，它的缺陷是觀測序列中的每個元素都是獨立的，而之後條件隨機場解決了該問題。

模型類型

從模型類型上來說，樸素貝葉斯和隱馬爾可夫都是生成模型，採用生成式方法進行標籤生成；最大熵和條件隨機場是判別模型，通過將各種特徵組合在一起判斷標籤。

樸素貝葉斯和最大熵

這兩個模型都是為了學習條件概率，樸素貝葉斯是最大化後驗概率，而最大熵是最大化條件熵。

最大熵和條件隨機場

考慮序列標註問題，如果用最大熵求解：

將整個序列標註看作分類問題，如果序列 $y$ 的長度有$n$個，並且序列上的元素共有 $m$ 種狀態， 那麼這個類別一共有  $m^n$ 個。

每次只考慮一項，一個個預測過去，但是失去了序列中元素的前後順序關係。

條件隨機場的做法是在子序列上定義特徵並計算子序列得分，比如 $y_{i-1}, y_i$，這樣也就 $m^2$ 種， 這樣條件隨機場就有效的考慮了上下文信息。

參考：

1. 最大熵模型和條件隨機場
2. 條件隨機場（CRF）和隱馬爾科夫模型（HMM）最大區別在哪裡？CRF的全局最優體現在哪裡？
3. 談談序列標註三大模型HMM、MEMM、CRF