xmod-base

X-MOD是一个多语言掩码语言模型，训练数据来源于过滤后的CommonCrawl数据，含有81种语言。它在论文 Lifting the Curse of Multilinguality by Pre-training Modular Transformers (Pfeiffer et al., NAACL 2022)中被介绍，并于 this repository 时首次发布。

由于它是使用了特定语言的模块化组件（语言适配器）进行预训练的，所以X-MOD与以前的多语言模型如 XLM-R 有所不同。在微调过程中，每个变压器层中的语言适配器将被冻结。

用法

分词器

此模型重用了 XLM-R 的分词器，所以您可以按照以下方式加载分词器：

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-base")

输入语言

因为该模型使用了语言适配器，所以需要指定输入的语言，以激活正确的适配器：

from transformers import XmodModel

model = XmodModel.from_pretrained("jvamvas/xmod-base")
model.set_default_language("en_XX")

该模型中的语言适配器目录位于本模型卡片底部。

微调

在原始论文的实验中，微调过程中会冻结嵌入层和语言适配器。代码提供了这样做的方法：

model.freeze_embeddings_and_language_adapters()
# Fine-tune the model ...

跨语言传递

在微调完成后，可以通过激活目标语言的语言适配器来进行零样本跨语言传递测试：

model.set_default_language("de_DE")
# Evaluate the model on German examples ...

偏见、风险和限制

请参阅 XLM-R 的模型卡片，因为X-MOD具有类似的架构并且是在类似的训练数据上进行的训练。

引用

BibTeX：

@inproceedings{pfeiffer-etal-2022-lifting,
    title = "Lifting the Curse of Multilinguality by Pre-training Modular Transformers",
    author = "Pfeiffer, Jonas  and
      Goyal, Naman  and
      Lin, Xi  and
      Li, Xian  and
      Cross, James  and
      Riedel, Sebastian  and
      Artetxe, Mikel",
    booktitle = "Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies",
    month = jul,
    year = "2022",
    address = "Seattle, United States",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.naacl-main.255",
    doi = "10.18653/v1/2022.naacl-main.255",
    pages = "3479--3495"
}

语言

该模型包含以下语言适配器：