Pygmalion 1.3B

模型描述

Pygmalion 1.3B是一个概念验证对话模型，基于EleutherAI的 pythia-1.3b-deduped 模型。

警告：该模型不适合未成年人使用。在特定情况下，模型会输出成人内容。

训练数据

微调数据集包括从多个来源收集的56MB对话数据，包括真实的对话和部分机器生成的对话。

训练过程

微调过程使用 ColossalAI 进行，具体来说，使用了稍微修改过的 OPT fine-tune example 的版本，在单个24GB GPU上进行了约1140万标记的训练，共进行了5440个步骤。整个运行时间不到21小时。

预期使用

简便方法

我们提供了一个带有Gradio UI的笔记本，可以轻松使用该模型进行试验，无需手动格式化输入。该笔记本可以在此找到 here 。

手动方法

该模型可以作为常规文本生成模型使用，但如果输入提示符符合以下格式，它将表现最佳：

[CHARACTER]'s Persona: [A few sentences about the character you want the model to play]

[DIALOGUE HISTORY]
You: [Your input message here]
[CHARACTER]:

在这里，[CHARACTER]是您想让模型扮演的角色名称，[DIALOGUE HISTORY]是聊天记录，以便模型能够获得一些对话背景进行生成。理想情况下，这将是消息的成对出现，例如：

[CHARACTER]: [some dialogue here]
You: [your response to the dialogue above]

除了聊天记录，您还可以在[DIALOGUE HISTORY]中添加示例对话，以展示角色应该如何说话 - 理想情况下，这些对话应该在开始时提供，以免模型混淆对话历史和角色定义。

已知问题

• 模型有时会陷入重复某些短语甚至整个句子的情况。
• 我们认为这是由于训练数据本身存在这种行为所导致的，并计划在未来的版本中进行调查和调整。