Press "Enter" to skip to content

分类: AIGC

文本生成系列之因果语言模型

1. 简介 在前面一章我们已经介绍过文本生成任务中非常流行的一种模型结构,encoder-decoder,但是除此之外,还存在其他一些不一样的模型结构。本文主要介绍另外一种模型结构,因果语言模型。因果语言模型(causal language model),是跟掩码语言模型相对的语言模型,跟transformer机制中的decoder很相似,因果语言模型采用了对角掩蔽矩阵,使得每个token只能看到…

Leave a Comment