概述

语言模型: deepset/roberta-base-squad2-distilled 语言: 英语 训练数据: SQuAD 2.0 训练集 评估数据: SQuAD 2.0 开发集 基础设施: 4x V100 GPU 发布日期: 2021年12月8日

详细信息

• 使用了haystack的蒸馏功能进行训练。deepset/roberta-large-squad2用作教师模型。

超参数

batch_size = 80
n_epochs = 4
max_seq_len = 384
learning_rate = 3e-5
lr_schedule = LinearWarmup
embeds_dropout_prob = 0.1
temperature = 1.5
distillation_loss_weight = 0.75

性能

"exact": 79.8366040596311
"f1": 83.916407079888

作者

Timo Möller: timo.moeller@deepset.ai Julian Risch: julian.risch@deepset.ai Malte Pietsch: malte.pietsch@deepset.ai Michel Bartels: michel.bartels@deepset.ai

关于我们

deepset 是开源NLP框架 Haystack 背后的公司，旨在帮助您构建可用于生产的NLP系统，包括:问答、摘要、排序等。

我们的其他工作：

• Distilled roberta-base-squad2 (aka "tinyroberta-squad2")
• German BERT (aka "bert-base-german-cased")
• GermanQuAD and GermanDPR datasets and models (aka "gelectra-base-germanquad", "gbert-base-germandpr")

联系我们和加入Haystack社区

欲了解有关Haystack的更多信息，请访问我们的 GitHub 和 Documentation 。

我们还有一个 Discord community open to everyone! 。

Twitter | LinkedIn | Discord | GitHub Discussions | Website

顺便说一句： we're hiring!