Pygmalion 2.7B

模型描述

Pygmalion 2.7B是一个基于EleutherAI的 gpt-neo-2.7B 的概念验证对话模型。

警告：该模型不适合未成年人使用。在某些情况下，它会输出限制级内容。

训练数据

微调数据集包含从多个来源收集的56MB对话数据，包括真实对话和部分机器生成对话。

训练过程

模型权重使用在 this commit 中提供的uft-2.7b ConvoGPT模型进行初始化。

然后，使用DeepSpeed在4个NVIDIA A40上对约4850万个标记进行了约5000步的进一步微调。

预期用途

简单方式

我们提供了一个笔记本，其中包含一个Gradio用户界面，可以在不手动格式化输入的情况下与模型进行互动。可以在 here 中找到这个笔记本。

手动方式

该模型可以用作常规的文本生成模型，但如果输入提示符符合以下格式，它的性能会更好:

[CHARACTER]'s Persona: [A few sentences about the character you want the model to play]
<START>
[DIALOGUE HISTORY]
You: [Your input message here]
[CHARACTER]:

在这个格式中，[CHARACTER]是人物的名字，<START>应该直接使用作为分隔符来将人物个性和场景数据与对话区分开来，[DIALOGUE HISTORY]是对话历史，以便模型可以从中获取一些对话上下文。理想情况下，对话历史应该是消息的对。除了聊天记录，您还可以在[DIALOGUE HISTORY]中添加示例对话，以显示人物应该如何说话 - 最好是放在开头，这样模型不会对对话历史和人物定义产生困惑。

已知问题

我们还没有对模型进行足够的测试以列举所有已知问题。欢迎给我们一些建议反馈！