11 июн 2018 г. - GPT-1 概念诞生

Описание:

全称: Generative Pre-trained Transformer 1

发布时间: 论文《通过生成式预训练提升语言理解能力》于2018年6月11日发布。

核心创新:

证明了Transformer架构的潜力: 首次将谷歌在2017年提出的Transformer架构成功应用于无监督的生成式预训练任务。

确立了“预训练+微调”范式: 在巨大的通用文本数据集（BookCorpus）上进行预训练，学习语言的通用规律，然后再针对具体任务（如分类、问答）进行少量数据的微调。这大大提升了模型在各种NLP任务上的表现。

规模: 1.17亿参数。

意义: 开创者和探路者。GPT-1证明了大规模无监督预训练的可行性和巨大潜力，为后续所有GPT模型的发展奠定了基础。

Добавлено на ленту времени:

Дата: