Discriminative Models and Generative Models

常常看到這兩個名詞，所以就上網查了Wikipedia和其他資料，用這篇小文章記錄一下這兩種model的特點。

Generative Models

為了預測資料，我們假設training set的資料是由一個model產生的。這個model可能會有數量未知的參數來決定training set的資料分佈。因此我們希望能得到背後的參數來重建這個model。在機器學習的問題上，generative model想要回答的問題是：對於這個我們假設的model，哪一種分類最有可能產生這筆data？以機率來表示，generative models能夠計算出 $p(x, y)$ 。因此如果我們的假設（根據我們對問題的human knowledge）能夠和產生資料的模型match，就能得到很高的正確率。

以下列舉一些常見的generative models（來自Wikipedia）：

• Hidden Markov model
• Probabilistic context-free grammar
• Naive Bayes
• Averaged one-dependence estimators
• Latent Dirichlet allocation
• Restricted Boltzmann machine
• Generative adversarial networks

Discriminative Models

相較於generative models想要預測data背後的參數，discriminative models直接利用input的資料來決定output應該是什麼。以機率來說，discriminative models能夠計算出 $p(y | x)$，藉此決定這樣的 $y$ 是否是正確的 。在classification的問題中，得到的 $y$ 即是預測的分類。

Discriminative models在training的過程通常需要知道正確的label，因此通常只能用在supervised learning上。

以下列舉一些常見的generative models（來自Wikipedia）：

• Logistic regression, a type of generalized linear regression used for predicting binary or categorical outputs (also known as maximum entropy classifiers)
• Support vector machines
• Boosting (meta-algorithm))
• Conditional random fields
• Linear regression
• Neural networks
• Random Forests

參考資料