判别式模型vs生成式模型¶
生成式模型和判别式模型的区别¶
判别式模型是由数据直接学习条件概率分布 P (Y|X) 作为预测的模型。
根据两者的区别我们可以看出，首先通过生成式模型产出的数据训练出的判别式模型可以提高模型的覆盖度。因为生成式模型需要学习联合概率分布 P (X,Y)，但是对于那些所有标注函数都无法覆盖的数据显然是无法得到 P (X,Y) 的，相反判别式模型只需要 X 本身的特征就可以算出 P (Y|X)，所以判别式模型可以覆盖那些生成式模型覆盖不到的数据点。
判别式模型¶
判别式模型直接学习输入 𝑋 和输出 𝑌 之间的条件概率分布 𝑃(𝑌∣𝑋)。
目标是找到输入到输出的映射关系，用于分类或回归任务。
示例：逻辑回归 (Logistic Regression), 支持向量机 (SVM), 神经网络 (如 BERT)。
数学公式¶
\[P(Y∣X)=直接建模\]
生成式模型¶
生成式模型学习联合概率分布 𝑃(𝑋,𝑌)，然后通过贝叶斯公式推导 𝑃(𝑌∣𝑋)。
生成式模型还能生成数据或模拟数据分布。
示例：高斯混合模型 (GMM), 隐马尔可夫模型 (HMM), 生成对抗网络 (GAN), Transformer-based生成模型 (如 GPT)。
数学公式¶
\[\begin{split}P(Y|X) = \frac{P(X,Y)}{P(X)} \\
(通过联合分布建模)\end{split}\]
生成式模型由数据学习联合概率分布
P (X,Y)，然后求出条件概率分布P (Y|X)作为预测模型，即生成式模型为:P(Y|X) = P(X, Y) / P(X)