模型:
facebook/esm2_t36_3B_UR50D
ESM-2是一种基于掩码语言建模目标训练的最先进的蛋白质模型。它适用于对以蛋白质序列为输入的各种任务进行微调。有关模型架构和训练数据的详细信息,请参考 accompanying paper 。您可能还对一些演示笔记本( PyTorch 、 TensorFlow )感兴趣,这些笔记本演示了如何在您感兴趣的任务上对ESM-2模型进行微调。
Hub上提供了几个ESM-2的检查点,大小不同。较大的大小通常具有稍好的准确性,但需要更多的内存和训练时间:
Checkpoint name | Num layers | Num parameters |
---|---|---|
1233321 | 48 | 15B |
1234321 | 36 | 3B |
1235321 | 33 | 650M |
1236321 | 30 | 150M |
1237321 | 12 | 35M |
1238321 | 6 | 8M |