目录

模型概述

我们提出了BLOOMZ & mT0，这是一系列能够以数十种语言零-shot跟随人类指令的模型。我们将BLOOM & mT5预训练的多语言语言模型在我们的跨语言任务混合（xP3）上进行微调，并发现所得模型能够在未见任务和语言中实现跨语言泛化。

• 仓库: bigscience-workshop/xmtf
• 论文: Crosslingual Generalization through Multitask Finetuning
• 联系人: Niklas Muennighoff
• 语言: 参考 bloom 进行预训练和 xP3 进行微调，它可以理解预训练和微调的语言
• BLOOMZ & mT0模型系列:

用途

预期用途

我们建议使用该模型执行用自然语言表达的任务。例如，给定提示“Translate to English: Je t’aime.”，模型大多数情况下会回答“I love you.”。一些来自我们论文的提示示例：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评?
• 推荐至少五个与"Mạng neural nhân tạo"相关的搜索词。
• 写一个关于一个巨魔从一条危险的龙那里救出公主的童话故事。这个童话故事是一部在全世界都获得赞誉的杰作，其寓意是“英雄的形状和大小不一”。故事（用西班牙语）：
• 用泰卢固语的一句话解释神经网络中的反向传播是什么。

欢迎在“社区”标签中分享您的生成结果！

如何使用

CPU

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-1b7"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-1b7"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

8位GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-1b7"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能因提示而异。对于BLOOMZ模型，我们建议明确表示输入何时结束，以避免模型试图继续输入。例如，提示“Translate to English: Je t'aime”如果没有以句号（.）结尾，可能导致模型试图继续法语句子。更好的提示方式是“Translate to English: Je t'aime.”，“Translate to English: Je t'aime. Translation: ”，“What is "Je t'aime." in English?”等，这样模型就清楚何时应该回答。此外，我们建议尽可能为模型提供更多上下文。例如，如果您希望它用泰卢固语回答，请告诉模型，“用泰卢固语的一句话解释神经网络中的反向传播是什么。”。

训练

模型

• 架构: 与 bloom-1b7 相同，还可以参考config.json文件
• 微调步骤: 2000
• 微调标记: 83.9十亿
• 微调布局: 1x管道并行，1x张量并行，1x数据并行
• 精度: 浮点16位

硬件

• CPU: 每个节点带有512GB内存的AMD CPU
• GPU: 使用NVLink 4互连的64个A100 80GB GPU，每个节点有8个GPU（8个节点），4个OmniPath链接
• 通信: 带有完全专用子网的NCCL通信网络

软件

• 管理： Megatron-DeepSpeed
• 优化器和并行性： DeepSpeed
• 神经网络： PyTorch （pytorch-1.11 w/ CUDA-11.5）
• 如果适用，使用FP16: apex

评估

我们参考我们的 paper 和 bigscience/evaluation-results 中的表格7，以获取未见任务的零-shot结果。侧边栏报告了每个数据集配置的最佳提示的零-shot性能。

引用

@article{muennighoff2022crosslingual,
  title={Crosslingual generalization through multitask finetuning},
  author={Muennighoff, Niklas and Wang, Thomas and Sutawika, Lintang and Roberts, Adam and Biderman, Stella and Scao, Teven Le and Bari, M Saiful and Shen, Sheng and Yong, Zheng-Xin and Schoelkopf, Hailey and others},
  journal={arXiv preprint arXiv:2211.01786},
  year={2022}
}