? + ? dbmdz蒸馏土耳其 BERT模型

在这个库中，巴伐利亚州立图书馆的MDZ Digital Library团队（dbmdz）公开了一个土耳其语的蒸馏模型（cased）?

?? DistilBERTurk

DistilBERTurk是一个社区驱动的土耳其语带大小写的蒸馏BERT模型。

DistilBERTurk是在原始训练数据的7GB上进行训练的，使用了BERTurk的带大小写版本作为教师模型。

DistilBERTurk在4个RTX 2080 TI上使用官方Hugging Face实现进行了5天的训练。

关于蒸馏的更多细节，请参考Sanh等人（2019年）的论文。

模型权重

目前只有PyTorch兼容的权重可用。如果您需要TensorFlow的检查点，请在存储库中提交问题！

用法

使用Transformers >= 2.3，我们的DistilBERTurk模型可以这样加载：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("dbmdz/distilbert-base-turkish-cased")
model = AutoModel.from_pretrained("dbmdz/distilbert-base-turkish-cased")

结果

关于词性标注或NER任务的结果，请参考。

对于词性标注，DistilBERTurk的性能优于24层的XLM-RoBERTa模型。

DistilBERTurk和原始（教师）BERTurk模型之间的总体性能差异约为1.18%。

Huggingface模型中心

所有模型都可以在。

联系方式（错误，反馈，贡献等）

如果对我们的BERT模型有任何问题，请提出问题。

致谢

感谢为我们提供额外的大规模土耳其语语料库的。非常感谢Reyyan Yeniterzi为我们提供用于评估的土耳其语NER数据集。

本研究得到了Google TensorFlow Research Cloud（TFRC）提供的Cloud TPU的支持。感谢提供TFRC的访问权限❤️

感谢团队的慷慨支持，可以从他们的S3存储中下载大小写模型?