CAMeLBERT: 用于阿拉伯语NLP任务的预训练模型集合

模型描述

CAMeLBERT是一系列在阿拉伯语文本上预训练的BERT模型，具有不同的大小和变种。我们发布了用于现代标准阿拉伯语（MSA）、方言阿拉伯语（DA）和古典阿拉伯语（CA）的预训练语言模型，以及在三者混合的基础上进行预训练的模型。我们还提供了在MSA变种的缩小数据集上预训练的额外模型（一半、四分之一、八分之一和十六分之一）。详细信息请参见论文 " The Interplay of Variant, Size, and Task Type in Arabic Pre-trained Language Models "。

该模型卡片描述了CAMeLBERT-Mix（bert-base-arabic-camelbert-mix），一种在这些变种（MSA、DA和CA）混合上进行预训练的模型。

预期用途

您可以将发布的模型用于掩码语言建模或下一句预测。然而，它主要用于在NLP任务（如实体识别、词性标注、情感分析、方言识别和诗歌分类）上进行微调。我们发布了我们的微调代码 here 。

您可以直接使用此模型进行带掩码语言建模的管道：

>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='CAMeL-Lab/bert-base-arabic-camelbert-mix')
>>> unmasker("الهدف من الحياة هو [MASK] .")
[{'sequence': '[CLS] الهدف من الحياة هو النجاح. [SEP]',
  'score': 0.10861027985811234,
  'token': 6232,
  'token_str': 'النجاح'},
 {'sequence': '[CLS] الهدف من الحياة هو.. [SEP]',
  'score': 0.07626965641975403,
  'token': 18,
  'token_str': '.'},
 {'sequence': '[CLS] الهدف من الحياة هو الحياة. [SEP]',
  'score': 0.05131986364722252,
  'token': 3696,
  'token_str': 'الحياة'},
 {'sequence': '[CLS] الهدف من الحياة هو الموت. [SEP]',
  'score': 0.03734956309199333,
  'token': 4295,
  'token_str': 'الموت'},
 {'sequence': '[CLS] الهدف من الحياة هو العمل. [SEP]',
  'score': 0.027189988642930984,
  'token': 2854,
  'token_str': 'العمل'}]

注意：要下载我们的模型，您需要 transformers>=3.5.0。否则，您可以手动下载模型。

以下是如何在PyTorch中使用此模型获取给定文本的特征：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
model = AutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

以及在TensorFlow中的使用方法：

from transformers import AutoTokenizer, TFAutoModel
tokenizer = AutoTokenizer.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
model = TFAutoModel.from_pretrained('CAMeL-Lab/bert-base-arabic-camelbert-mix')
text = "مرحبا يا عالم."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)

训练数据

• MSA（现代标准阿拉伯语）
  • The Arabic Gigaword Fifth Edition
  • Abu El-Khair Corpus
  • OSIAN corpus
  • Arabic Wikipedia
  • 未洗牌版本的阿拉伯语 OSCAR corpus
• DA（方言阿拉伯语）
  • 在 our paper 中描述的方言阿拉伯语数据集
• CA（古典阿拉伯语）
  • OpenITI (Version 2020.1.2)

训练过程

我们使用Google发布的 the original implementation 进行预训练。我们遵循原始英文BERT模型的超参数进行预训练，除非另有说明。

预处理

• 从每个语料库中提取原始文本后，我们应用以下预处理步骤。
• 我们首先使用 the original BERT implementation 提供的工具删除无效字符并规范化空格。
• 我们还删除没有任何阿拉伯字符的行。
• 然后，我们使用 CAMeL Tools 删除变音符号和kashida。
• 最后，我们使用基于启发式的句子分割器将每行分割为句子。
• 我们使用全数据集（167 GB文本）训练了一个词元分词器，词汇表大小为30,000，使用 HuggingFace's tokenizers 。
• 我们不将字母转为小写，也不去除重音符号。

预训练

• 该模型在单个云TPU（v3-8）上进行了总共一百万步的训练。
• 前900,000步使用批量大小为1,024进行训练，其余步骤使用批量大小为256进行训练。
• 序列长度在90%的步骤中限制为128个标记，在剩余10%的步骤中限制为512个标记。
• 我们使用整词掩码和重复因子为10。
• 将每个序列的最大预测设置为128标记最大序列长度的数据集为20，对于512标记最大序列长度的数据集为80。
• 我们使用随机种子12345，掩码语言模型概率为0.15，短序列概率为0.1。
• 使用的优化器是Adam，学习率为1e-4，β1=0.9和β2=0.999，权重衰减为0.01，学习率热身为10,000步，并在之后线性衰减学习率。

评估结果

• 我们将我们的预训练语言模型在五个NLP任务上进行评估：NER、词性标注、情感分析、方言识别和诗歌分类。
• 我们使用12个数据集进行模型的微调和评估。
• 我们使用Hugging Face的transformers库对CAMeLBERT模型进行微调。
• 我们使用transformers v3.1.0和PyTorch v1.5.1。
• 微调是通过在最后一个隐藏状态中添加一个全连接线性层来完成的。
• 我们使用F1分数作为所有任务的评估指标。
• 用于微调的代码可以在 here 处获得。

结果

结果（平均）

[1] : 按语言变体对任务组的平均值指的是对一组相同语言变体的任务取平均。

致谢

该研究得到了来自Google TensorFlow Research Cloud（TFRC）的云TPU的支持。

引用

@inproceedings{inoue-etal-2021-interplay,
    title = "The Interplay of Variant, Size, and Task Type in {A}rabic Pre-trained Language Models",
    author = "Inoue, Go  and
      Alhafni, Bashar  and
      Baimukan, Nurpeiis  and
      Bouamor, Houda  and
      Habash, Nizar",
    booktitle = "Proceedings of the Sixth Arabic Natural Language Processing Workshop",
    month = apr,
    year = "2021",
    address = "Kyiv, Ukraine (Online)",
    publisher = "Association for Computational Linguistics",
    abstract = "In this paper, we explore the effects of language variants, data sizes, and fine-tuning task types in Arabic pre-trained language models. To do so, we build three pre-trained language models across three variants of Arabic: Modern Standard Arabic (MSA), dialectal Arabic, and classical Arabic, in addition to a fourth language model which is pre-trained on a mix of the three. We also examine the importance of pre-training data size by building additional models that are pre-trained on a scaled-down set of the MSA variant. We compare our different models to each other, as well as to eight publicly available models by fine-tuning them on five NLP tasks spanning 12 datasets. Our results suggest that the variant proximity of pre-training data to fine-tuning data is more important than the pre-training data size. We exploit this insight in defining an optimized system selection model for the studied tasks.",
}