GPT-Neo 125M

模型描述

GPT-Neo 125M 是一个使用 EleutherAI 复制的 GPT-3 架构设计的转换器模型。GPT-Neo 是指模型的类别，而 125M 表示此特定预训练模型的参数数量。

训练数据

GPT-Neo 125M 是在 Pile 上进行训练的，Pile 是 EleutherAI 为训练此模型而创建的一个大规模策划数据集。

训练过程

该模型在 Pile 上进行了 3000 亿个令牌的训练，共经过 572,300 步。它被训练为一个掩码自回归语言模型，使用交叉熵损失。

预期用途和限制

这种方式，模型学习了英语的内部表示，可以用来提取下游任务中有用的特征。然而，该模型最擅长的还是其预训练任务，即根据提示生成文本。

如何使用

您可以直接使用此模型的文本生成流水线。下面是一个示例，每次运行都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='EleutherAI/gpt-neo-125M')
>>> generator("EleutherAI has", do_sample=True, min_length=20)

[{'generated_text': 'EleutherAI has made a commitment to create new software packages for each of its major clients and has'}]

限制和偏见

GPT-Neo 是作为自回归语言模型进行训练的。这意味着它的核心功能是接收一个文本字符串并预测下一个标记。虽然语言模型除了这个任务之外还广泛用于其他任务，但其中还存在许多未知因素。

GPT-Neo 是在 Pile 上进行训练的，该数据集已知包含亵渎、粗俗和具有攻击性的语言。根据您的使用情况，GPT-Neo 可能会生成社会上不可接受的文本。请参阅 Pile 论文的第 5 和 6 部分，以获取对 Pile 中偏见的更详细分析。

与所有语言模型一样，很难预测 GPT-Neo 如何对特定提示作出响应，可能会出现不可接受的内容而没有警告。我们建议在发布之前由人员审查或过滤输出内容，既可以审查不良内容，也可以提高结果的质量。

评估结果

待定

下游应用

待定

BibTeX 条目和引用信息

要引用此模型，请使用

@software{gpt-neo,

  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}

@article{gao2020pile,
  title={The Pile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and others},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}