GraphCodeBERT 模型

GraphCodeBERT 是一种基于Transformer架构的基于图的预训练模型，用于处理编程语言，同时考虑了代码序列和数据流信息。GraphCodeBERT 包含 12 层，768维的隐藏状态和 12 个注意力头。模型的最大序列长度为512。该模型是在 CodeSearchNet 数据集上训练得到的，该数据集包含 6 种编程语言的 230 万个函数对应的文档。

更多详情可参见 paper ，作者为Guo等人。

免责声明：发布BERT的团队没有为该模型编写模型卡片，因此该模型卡片是由Hugging Face社区成员编写的。