rubert-base-cased-sentence

Sentence RuBERT（俄语，大小写敏感，12层，768隐藏层，12个头，180M参数）是用于俄文的基于表示的句子编码器。它使用RuBERT进行初始化，并在SNLI[1]（通过Google翻译成俄文）和XNLI开发集的俄文部分上进行了微调[2]。句子表示是通过与Sentence-BERT[3]相同的方式计算出的平均池化标记嵌入。

[1]: S. R. Bowman, G. Angeli, C. Potts, and C. D. Manning. (2015) 用于学习自然语言推理的大型注释语料库。arXiv预印本 arXiv:1508.05326

[2]: Williams A., Bowman S. (2018) XNLI: 评估跨语言句子表示。arXiv预印本 arXiv:1809.05053

[3]: N. Reimers, I. Gurevych (2019) Sentence-BERT：使用Siamese BERT网络进行句子嵌入。arXiv预印本 arXiv:1908.10084