LaBSE英语和俄语版

这是谷歌的 LaBSE 翻译而来的 sentence-transformers/LaBSE 的简化版本。

当前模型只保留了英语和俄语标记，因此词汇量仅为原始模型的10%，整个模型的参数数量占原始模型的27%，而且英语和俄语嵌入的质量没有任何损失。

要获取句子嵌入，您可以使用以下代码：

import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("cointegrated/LaBSE-en-ru")
model = AutoModel.from_pretrained("cointegrated/LaBSE-en-ru")
sentences = ["Hello World", "Привет Мир"]
encoded_input = tokenizer(sentences, padding=True, truncation=True, max_length=64, return_tensors='pt')
with torch.no_grad():
    model_output = model(**encoded_input)
embeddings = model_output.pooler_output
embeddings = torch.nn.functional.normalize(embeddings)
print(embeddings)

该模型已在 this notebook 中进行了截断。您可以适应其他语言（如 EIStakovskii/LaBSE-fr-de ），模型或数据集。

参考资料：

Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Narveen Ari, Wei Wang. Language-agnostic BERT Sentence Embedding . 2020年7月

许可证： https://tfhub.dev/google/LaBSE/1