判别模型与生成模型

参考： 统计方法分析-李航

前言

  监督学习的任务一般就是学习一个模型，生成一个模型。对给定的输入预测相应的输出，这个模型的一般形式为决策函数 ： Y = f(X), 或者条件概率分布 P(Y|X)。   监督学习方法分为生成方法和判别方法，所学习的模型称为生成模型和判别模型。

一、判别模型

  判别方法由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。 判别方法关心的是对应输入X,应该预测什么样的输出Y。

二、生成模型

  生成方法由数据学习概率联合分布P(X, Y), 然后求出条件概率分布P(Y|X) 作为预测模型，即生成模型:   之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。