动机

该模型基于anferico / bert-for-patents模型 - 一个BERT LARGE模型（详情见下一节）。默认情况下，预训练模型的输出嵌入大小为768（基础模型）或1024（大型模型）。然而，当您存储数百万个嵌入时，这可能需要相当多的内存/存储空间。因此，我们使用主成分分析（PCA）将嵌入维度减小到64，即1024的1/16大小，并且该方法仍然提供了可比较的性能。是的！PCA比NMF提供更好的性能。注意：这个过程既不改善模型运行时的时间，也不改善内存需求。它只减少了存储嵌入所需的空间，例如用于使用向量数据库进行语义搜索。

专利BERT模型

专利BERT是Google在超过1亿份专利（不仅仅是美国专利）上进行训练的模型。

如果您想了解更多关于该模型的信息，请查看包含原始TensorFlow检查点的 blog post ， white paper 和 GitHub page 。

使用该模型（或其变种）的项目：

• Patents4IPPC （由 Pi School 进行，由 Joint Research Centre (JRC) 委托执行，由欧洲委员会赞助）