使用chatgpt指令训练 chatgpt的算法原理是什么

介绍

这篇“的算法原理是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获、下面我们一起来看看这篇“的算法原理是什么”文章吧。

是基于GPT-3模型训练出来的,具体步骤如下:

1,从GPT-3的输入语句数据集中采样部分输入,基于这些输入,采用人工标注完成希望得到输出结果与行为,然后利用这些标注数据进行GPT-3有监督的训练。该模型即作为指令式GPT的冷启动模型。

2,在采样的输入语句中,进行前向推理获得多个模型输出结果,通过人工标注进行这些输出结果的排序打标。最终这些标注数据用来训练奖励反馈模型。

3,采样新的输入语句,政策策略网络生成输出结果,然后通过奖励反馈模型计算反馈,该反馈回过头来作用于政策策略网络。以此反复,这里就是标准的强化学习强化学习的训练框架了。

所以总结起来(对话GPT)其实就是(指令式GPT)的同源模型,然后指令式GPT就是基于GPT-3,先通过人工标注方式训练出强化学习的冷启动模型与奖励反馈模型,最后通过强化学习的方式学习出对话友好型的模型。如下是论文中相应对话友好型的定量结果(其中PPO-ptx曲线就是模型),可以看到在回答友好型上是远超原始GPT的: