ChatGPT 技术原理是什么样的？

sepilqi

最近想搞明白 ChatGPT 背后的技术细节，官方也没有公开，大家有没有相关资料推荐阅读。我目前能知道有

官方博客说用了类似于 InstructGPT 的方法。因此 InstructGPT 相关资料可以看看
开源社区也有用RLHF 方法实现一些类似产品

实验室官方助手

sepilqi

http://www.deeprlhub.com/d/1221-openaichatgpt

forrestneo

sepilqi 简单说就是离线强化学习

sepilqi

参考 ChatGPT/InstructGPT 的方法，分3步走。

预训练基础大模型，得到 SFT 模型
标注排序数据集，训练奖励模型 RM。
使用强化学习方法 PPO，RM 的输出作为奖惩，进一步微调 SFT ，使它能够得分越来越高，得到 InstructGPT/ChatGPT 模型

sepilqi

参考 http://www.deeprlhub.com/blog/1259-chatgpt

ljphit

看到chatgpt是熟悉的openAI的出品，背后技术还有熟悉的强化学习，当年就是Richard sutton经典的白皮书入门强化学习的

RL_DL_ML

ChatGPT是一种用于自然语言理解（NLU）和自然语言生成（NLG）的基于OpenAI GPT-3技术进行开发的聊天机器人框架，它是一种大语言模型，同时运用了强化学习。它能够以人类常用的语言来理解和回答问题，并可以通过学习已有的数据来构建语言模型。ChatGPT使用一种“transformer”技术，即将输入转换成内部表示，从而能够从上下文中获取意义，并给出合适的回答。

Document