INT8 T5 small 在XSum上微调

后训练动态量化

这是一个通过使用 Intel® Neural Compressor 进行量化的 INT8 PyTorch 模型，通过 huggingface/optimum-intel 进行量化。

原始的fp32模型来自于fine-tuned模型 adasnew/t5-small-xsum 。

线性模块 lm.head 再少于1%的相对准确率损失的情况下回退到fp32。

评估结果

使用最佳选项加载:

from optimum.intel.neural_compressor.quantization import IncQuantizedModelForSeq2SeqLM
int8_model = IncQuantizedModelForSeq2SeqLM.from_pretrained(
    'Intel/t5-small-xsum-int8-dynamic',
)