Polyglot-Ko-5.8B

模型描述

Polyglot-Ko是由EleutherAI polyglot团队制作的一系列大规模韩语自回归语言模型。

该模型由28个transformer层组成，模型维度为4096，前馈维度为16384。模型维度被分成16个头，每个头的维度为256。每个头的64个维度应用了Rotary Position Embedding (RoPE)。模型使用了30003个token作为词汇表进行训练。

训练数据

Polyglot-Ko-5.8B在863 GB的韩语语言数据（处理前为1.2TB）上进行训练，这是一个由 TUNiB 收集的大规模数据集。数据收集过程遵守韩国法律。此数据集是为训练Polyglot-Ko模型而收集的，因此不会公开发布。

此外，为避免模型在训练数据中记忆和生成个人身份信息（PII），我们在预处理阶段将以下敏感信息屏蔽：

• <|acc|>：银行账号
• <|rrn|>：居民登记号码
• <|tell|>：电话号码

训练过程

Polyglot-Ko-5.8B在256个A100 GPU上进行了320,000个步骤，共计训练了1720亿个token。它作为自回归语言模型进行训练，使用交叉熵损失来最大化预测下一个token的概率。

如何使用

使用AutoModelForCausalLM类可以轻松加载此模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-5.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-5.8b")

评估结果

我们使用提供的提示，在 KOBEST dataset 数据集上对Polyglot-Ko-3.8B进行了评估，该数据集包含5个下游任务，并与其他可比较的模型（如skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt和facebook/xglm-7.5B）进行对比。

以下表格显示了在few-shot示例数量不同的情况下的结果。您可以使用 polyglot branch of lm-evaluation-harness 和以下脚本重现这些结果。为了公平比较，所有模型在相同条件下运行，并使用相同的提示。在表格中，n表示few-shot示例的数量。

在WiC数据集的情况下，所有模型都显示出随机性能。

python main.py \
   --model gpt2 \
   --model_args pretrained='EleutherAI/polyglot-ko-3.8b' \
   --tasks kobest_copa,kobest_hellaswag \
   --num_fewshot $YOUR_NUM_FEWSHOT \
   --batch_size $YOUR_BATCH_SIZE \
   --device $YOUR_DEVICE \
   --output_path $/path/to/output/

COPA（F1）

HellaSwag（F1）

BoolQ（F1）

SentiNeg（F1）

WiC（F1）

限制和偏见

Polyglot-Ko已经经过训练，以优化下一个token的预测。这类语言模型常用于各种任务，因此了解可能出现的意外结果非常重要。例如，Polyglot-Ko并不总是返回最真实或准确的回答，而是最有统计可能性的回答。此外，Polyglot可能会生成不可接受或冒犯性的内容。我们建议使用人工策划或其他过滤机制来审查敏感内容。

引用和相关信息

BibTeX条目

如果您发现我们的工作有用，请考虑引用：

@misc{ko2023technical,
      title={A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models}, 
      author={Hyunwoong Ko and Kichang Yang and Minho Ryu and Taekyoon Choi and Seungmu Yang and jiwung Hyun and Sungho Park},
      year={2023},
      eprint={2306.02254},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可

我们所有的模型都根据Apache许可证2.0的条款进行许可。

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

致谢

本项目的计算资源来自 Stability.ai ，感谢 TUNiB 提供了这项工作所需的大规模韩语数据集。