目录

模型简介

我们提出了 BLOOMZ & mT0，这是一系列能够以零-shot方式跟随人类指令的模型，支持数十种语言。我们在跨语言任务混合（xP3）上对 BLOOM & mT5 预训练的多语言模型进行微调，并发现得到的模型能够在未见过的任务和语言上实现跨语言泛化。

• 存储库： bigscience-workshop/xmtf
• 论文： Crosslingual Generalization through Multitask Finetuning
• 联系人：Niklas Muennighoff
• 语言：有关预训练和微调语言比例，请参阅 bloom 和 xP3 。它可以理解预训练和微调语言。
• BLOOMZ & mT0 模型系列：

用途

预期用途

我们建议使用该模型执行用自然语言表达的任务。例如，给定提示“翻译成英语：Je t’aime。”，该模型最有可能回答“我爱你。”我们的论文中提供了一些提示的创意：

• 一个传奇的开端，一个不灭的神话，这不仅仅是一部电影，而是作为一个走进新时代的标签，永远彪炳史册。你认为这句话的立场是赞扬、中立还是批评？
• 建议至少给“Mạng neural nhân tạo”提供五个相关搜索词。
• 写一个关于一只巨怪从一只危险的龙那里拯救一位公主的童话故事。这个童话故事是一部在全球范围内受到赞扬的杰作，其寓意是“英雄有各种各样的形状和尺寸”。故事（用西班牙语）：
• 用泰卢固语的一句话解释神经网络中的反向传播是什么。

欢迎在社区标签中分享您的生成结果！

如何使用

CPU

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

8 位 GPU

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigscience/bloomz-mt"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

inputs = tokenizer.encode("Translate to English: Je t’aime.", return_tensors="pt").to("cuda")
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

限制

提示工程：性能可能因提示而异。对于 BLOOMZ 模型，我们建议在输入结束时明确指出，以避免模型尝试继续输入。例如，没有句号（.）的提示“翻译成英语：Je t'aime”可能导致模型尝试继续翻译法语句子。更好的提示是“翻译成英语：Je t'aime。”、“翻译成英语：Je t'aime。翻译：”或“‘Je t'aime.’ 在英语中是什么？”，这样模型就清楚何时回答。此外，我们建议尽可能为模型提供更多上下文信息。例如，如果您希望它用泰卢固语回答，则告诉模型“用泰卢固语的一句话解释神经网络中的反向传播”。

训练

模型

• 架构：与 bloom 相同，也参考config.json文件
• 微调步骤：498
• 微调标记：209亿
• 微调布局：72x 管道并行，1x 张量并行，4x 数据并行
• 精度：bfloat16

硬件

• CPU：每个节点具有 512GB 内存的 AMD CPU
• GPU：使用 NVLink 4 个互连 GPU 和 4 个 OmniPath 链路的 288 个 A100 80GB GPU，每个节点有 8 个 GPU（36 个节点）
• 通信：带有完全专用子网的 NCCL 通信网络

软件

• 管理： Megatron-DeepSpeed
• 优化器和并行： DeepSpeed
• 神经网络： PyTorch （pytorch-1.11 w/ CUDA-11.5）
• 如果适用，则使用 FP16： apex

评估

我们参考我们论文中的表 7，了解在未见过的任务上的零-shot结果。侧边栏报告了每个数据集配置下的最佳提示的零-shot性能。

引用

@misc{muennighoff2022crosslingual,
      title={Crosslingual Generalization through Multitask Finetuning}, 
      author={Niklas Muennighoff and Thomas Wang and Lintang Sutawika and Adam Roberts and Stella Biderman and Teven Le Scao and M Saiful Bari and Sheng Shen and Zheng-Xin Yong and Hailey Schoelkopf and Xiangru Tang and Dragomir Radev and Alham Fikri Aji and Khalid Almubarak and Samuel Albanie and Zaid Alyafeai and Albert Webson and Edward Raff and Colin Raffel},
      year={2022},
      eprint={2211.01786},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}