其中,包括指令调优的Pythia-12B、LLaMA-13B和LLaMA-30B。在接下来的评估中, 研究人员主要评估了Pythia-12B模型的性能。

与ChatGPT对打

为了评估 Pythia-12B 的性能,研究人员进行了一项用户偏好研究,将其输出与gpt-3.5-turbo模型的输出进行比较。

研究显示,OpenAssistant的回复与gpt-3.5-turbo(ChatGPT)的相对偏好率分别为48.3%和51.7%。

行与不行,都得拉出来遛遛才知道。

研究人员分别向GPT-3.5和OpenAssistant提了20个问题。两个模型各自的表现如下所示:

我们可以看到,GPT-3.5和OA各有输赢,也有打平的情况。最右侧的数据显示了OA赢过GPT-3.5的概率。

在8个问题上,OA胜率过半,而剩下的12个问题则都是GPT-3.5更胜一筹。

下面,我们挑选几个有代表性的、有趣的问题,看一看两个模型在输出回答上有何不同。

提问:「为什么很多人倾向于追求短期的幸福?」

OA:「有些人可能会选择追求短期的、更短暂的幸福,这是因为他们认为这些短期的幸福可以提供满足感和成就感。就像购物或者聚会,这样的短期快乐往往被看作暂时逃避现实和能让自我感觉良好的简单且无害的方式。

但同时也得明白,过多地追求这种只能带来短期快乐的活动会导致一些长期问题的出现。比如负债、压力累积和成瘾等等。

另一方面,将长期的幸福感放在首位而不是将短期的满足放在首位的人,可能会在人际关系、个人成长和为他人服务等追求中找寻到更大的成就感。通过将他们的时间和精力投入到有意义的事业和活动中,他们可以也找到更大的成就感。通过丰富的事业和活动,他们可以与家人和朋友建立牢固的联系。他们还重视培养自我意识和同情心,并为社会做出贡献。

归根结底,最重要的是在追求短期快乐和寻求更深层次的快乐和满足之间找到平衡。认识到可持续的、持久的幸福的重要性,并通过行动使长期的快乐成为我们生活中首要追求的事项。这样就可以同时拥有这两种不同的快乐。」