3.1.3. 编码-解码器¶

打个比方。
想象一下，您的经理给您一个为学生编写测验题目的任务。您有两个同事；一名负责监督内容的创建，另一名负责审查内容。
内容创建者就像一个独立解码器的模型，他们可以查看主题并查看您已经写的内容，然后他可以基于这些内容来编写课程。他们非常擅长撰写引人入胜且内容丰富的内容，但不太擅长理解主题和学习目标。独立解码器模型如 GPT 系列模型，例如 GPT-3。
审阅者就像一个独立编码器的模型，他们查看编写的课程和答案，注意它们之间的关系并通过上下文进行理解，但他们不擅于生成内容。独立编码器模型的一个例子是 BERT。
即创建又审查测验，这是一个编码器-解码器模型如 BART 和 T5