9 abr 2006 ano - 半监督学习 Semi-Supervised Learning. Chapelle, O., Schölkopf, B., and Zien, A. 2006

Descrição:

在深度学习的背景下，半监督学习通常指的是学习一个表示 h = f(x)。学习表示的目的是使相同类中的样本有类似的表示。无监督学习可以为如何在表示空间聚集样本提供有用线索。在输入空间紧密聚集的样本应该被映射到类似的表示。在许多情况下，新空间上的线性分类器可以达到较好的泛化 (Belkin and Niyogi, 2002;Chapelle et al., 2003)。这种方法的一个经典变种是使用主成分分析作为分类前（在投影后的数据上分类）的预处理步骤。

我们可以构建这样一个模型，其中生成模型 P(x) 或 P(x, y) 与判别模型 P(y | x)共享参数，而不用分离无监督和监督部分。我们权衡监督模型准则 − log P(y | x)和无监督或生成模型准则（如 − log P(x) 或 − log P(x, y)）。生成模型准则表达了对监督学习问题解的特殊形式的先验知识 (Lasserre et al., 2006)，即 P(x) 的结构通过某种共享参数的方式连接到 P(y | x)。通过控制在总准则中的生成准则，我们可以获得比纯生成或纯判别训练准则更好的权衡 (Lasserre et al., 2006; Larochelle and Bengio, 2008a)。

Salakhutdinov and Hinton (2008) 描述了一种学习回归核机器中核函数的方法，其中建模 P(x) 时使用的未标记样本大大提高了 P(y | x) 的效果。

Adicionado na linha do tempo:

13 nov 2019

1

0

296

Regularization

Data: