看到OA的能力，网友表示已经拿到了入场票。
35种语言，免费可用RLHF数据
ChatGPT受到热捧，恰恰证明了将大型语言模型（LLMs）与人类偏好结合起来可以极大地提高可用性。
通过监督微调（SFT）、人类反馈强化学习 （RLHF）大大减少了有效利用LLMs能力所需的技能和领域知识，增加了其在各个领域的可访问性，以及实用性。
然而，RLHF需要依赖高质量的人工反馈数据，这种数据的创建成本很高，而且往往是专有的。
正如论文标题所示，为了让大型语言模型民主化，OpenAssistant Conversations就诞生了。
这是一个由人工生成、人工标注的对话语料库，包含161,443条消息，分布在66,497个对话树中，使用35种不同的语言，并标注了461,292个质量评分。
以下便是一个深度为4的对话树（CT）例子，包含12条信息。从提示到一个节点的任何路径都是一个有效的线程。
OpenAssistant Conversations数据集是通过13000多名志愿者的众包努力综合而来的。
这些数据是通过一个网络应用程序界面收集的，该界面将数据分为五个单独的步骤来收集：
提示、标记提示、添加回复消息作为提示或助理、标记回复以及对助理回复进行排序。
可以看到，这一数据集中最常用语言的占比，英语和西班牙语占比最多。中文2.5%。
有网友称，希望未来能够支持日语。
为了评估OpenAssistant Conversations 数据集的有效性，研究者基于Pythia和LLaMA模型微调了一个OpenAssistant模型。