OPT 13B - Nerys

模型描述

OPT 13B-Nerys 是使用 Facebook 的 OPT 模型进行微调的结果。

训练数据

训练数据包括大约 2500 本不同类型的电子书（"Pike" 数据集），一个 CYOA 数据集称为 "CYS"，和 50 部亚洲的 "轻小说"（"Manga-v1" 数据集）。数据集的大部分都在开头加上了以下文本: [Genre: <genre1>, <genre2>] 数据集的处理方式与 fairseq-dense-13B-Nerys-v2 相同。

如何使用

您可以直接使用该模型进行文本生成。下面的例子每次运行都会生成不同的序列:

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/OPT-13B-Nerys-v2')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

限制和偏见

基于 NLP 技术的已知问题，潜在的相关因素包括偏见（性别、职业、种族和宗教）。

许可证

OPT-6B 使用 OPT-175B 许可证，版权所有 (c) Meta Platforms, Inc.。保留所有权利。

BibTeX 条目和引用信息

@misc{zhang2022opt,
      title={OPT: Open Pre-trained Transformer Language Models}, 
      author={Susan Zhang and Stephen Roller and Naman Goyal and Mikel Artetxe and Moya Chen and Shuohui Chen and Christopher Dewan and Mona Diab and Xian Li and Xi Victoria Lin and Todor Mihaylov and Myle Ott and Sam Shleifer and Kurt Shuster and Daniel Simig and Punit Singh Koura and Anjali Sridhar and Tianlu Wang and Luke Zettlemoyer},
      year={2022},
      eprint={2205.01068},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}