ScandiNLI - 北欧语言的自然语言推理模型

该模型是针对丹麦语、挪威博克马尔语和瑞典语进行自然语言推理的 NbAiLab/nb-bert-large 的微调版本。

我们为北欧自然语言推理发布了三个模型，大小不同：

• alexandrainst/scandi-nli-large（这个模型）
• alexandrainst/scandi-nli-base
• alexandrainst/scandi-nli-small

可以在 this Hugging Face Space 中找到大模型的演示-去看看吧！

每个模型的性能和模型大小可以在下面的性能部分找到。

快速开始

您可以在自己的脚本中使用以下方式使用此模型：

>>> from transformers import pipeline
>>> classifier = pipeline(
...     "zero-shot-classification",
...     model="alexandrainst/scandi-nli-large",
... )
>>> classifier(
...     "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
...     candidate_labels=['sundhed', 'politik', 'sport', 'religion'],
...     hypothesis_template="Dette eksempel handler om {}",
... )
{'sequence': "Mexicansk bokser advarer Messi - 'Du skal bede til gud, om at jeg ikke finder dig'",
 'labels': ['sport', 'religion', 'politik', 'sundhed'],
 'scores': [0.6134647727012634,
  0.30309760570526123,
  0.05021871626377106,
  0.03321893885731697]}

性能

我们对模型进行了北欧整体性能和每个语言（丹麦语、瑞典语和挪威博克马尔语）的评估。

在所有情况下，我们报告了马修斯相关系数（MCC），宏平均F1分数以及准确度。

北欧评估

北欧得分是丹麦语、瑞典语和挪威博克马尔语得分的平均值，可以在下面的各个部分找到。

丹麦评估

我们使用 DanFEVER dataset 的测试集来评估模型的丹麦语性能。

测试集是使用 this gist 生成的。

瑞典评估

我们使用机器翻译版本的 MultiNLI 数据集的测试集来评估模型的瑞典语性能。

我们理解，不在黄金标准数据集上进行评估并不理想，但不幸的是，我们不知道任何瑞典语的NLI数据集。

挪威博克马尔语评估

我们使用机器翻译版本的 MultiNLI 数据集的测试集来评估模型的挪威语性能。

我们理解，不在黄金标准数据集上进行评估并不理想，但不幸的是，我们不知道任何挪威语的NLI数据集。

训练过程

它在包括 DanFEVER 以及所有三种语言的 MultiNLI 和 CommitmentBank 的机器翻译版本，以及瑞典语的 FEVER 和 Adversarial NLI 的机器翻译版本中进行了微调。

DanFEVER的训练集使用 this gist 生成。

在训练过程中，三种语言的采样均等，并且它们在 DanFEVER 和机器翻译版本的 MultiNLI （瑞典语和挪威博克马尔语）的验证集上进行验证，采样均等。

查看 Github repository 以获取用于训练ScandiNLI模型的代码，完整的训练日志可以在 this Weights and Biases report 中找到。

训练超参数

在训练过程中使用了以下超参数：

• learning_rate: 2e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 4242
• gradient_accumulation_steps: 16
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9, 0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• max_steps: 50,000