Whisper

Whisper 是一个用于自动语音识别（ASR）和语音翻译的预训练模型。Whisper 模型在经过标注的 680k 小时数据上进行了训练，展现出在许多数据集和领域中都具有很强的泛化能力，而无需进行微调。

Whisper 是由 Alec Radford 等人在 OpenAI 提出的论文 Robust Speech Recognition via Large-Scale Weak Supervision 中提出的。原始代码仓库可以在 here 找到。

免责声明：该模型卡片的部分内容由 Hugging Face 团队编写，并且其中的部分是从原始模型卡片中复制和粘贴的。

模型细节

Whisper 是基于 Transformer 的编码器-解码器模型，也称为序列到序列模型。它是在大规模的弱监督下使用标注的语音数据进行训练的。

模型采用仅英语数据或多语言数据进行训练。仅英语的模型是在语音识别任务上进行训练的。多语言模型既在语音识别任务上进行训练，也在语音翻译任务上进行训练。对于语音识别，模型预测与音频相同语言的转录。对于语音翻译，模型预测将音频转录成其他语言。

Whisper 检查点有五种不同模型大小的配置。最小的四个是仅使用英语或多语言数据进行训练的。最大的检查点仅支持多语言。十个预训练检查点都可以在 Hugging Face Hub 上找到。检查点在下表中进行了总结，并提供了到 Hub 上模型的链接：

用法

要转录音频样本，必须将模型与 WhisperProcessor 一起使用。

WhisperProcessor 用于：

通过传递适当的“上下文标记”，告知模型要执行的任务（转录或翻译）。这些上下文标记是在解码过程开始时传递给解码器的一系列标记，并按照以下顺序进行：

因此，典型的上下文标记序列可能如下所示：

<|startoftranscript|> <|en|> <|transcribe|> <|notimestamps|>

这告诉模型使用英语进行解码，执行语音识别的任务，并且不预测时间戳。

这些标记可以被强制或非强制。如果它们被强制，模型将被迫在每个位置预测每个标记。这允许我们控制 Whisper 模型的输出语言和任务。如果它们是非强制的，Whisper 模型将自动预测输出语言和任务。

可以相应地设置上下文标记：

model.config.forced_decoder_ids = WhisperProcessor.get_decoder_prompt_ids(language="english", task="transcribe")

这将强制模型在执行语音识别任务时预测英语。

转录

英语到英语

在此示例中，上下文标记是“非强制的”，这意味着模型自动预测输出语言（英语）和任务（转录）。

>>> from transformers import WhisperProcessor, WhisperForConditionalGeneration
>>> from datasets import load_dataset

>>> # load model and processor
>>> processor = WhisperProcessor.from_pretrained("openai/whisper-medium")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-medium")
>>> model.config.forced_decoder_ids = None

>>> # load dummy dataset and read audio files
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> sample = ds[0]["audio"]
>>> input_features = processor(sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt").input_features 

>>> # generate token ids
>>> predicted_ids = model.generate(input_features)
>>> # decode token ids to text
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=False)
['<|startoftranscript|><|en|><|transcribe|><|notimestamps|> Mr. Quilter is the apostle of the middle classes and we are glad to welcome his gospel.<|endoftext|>']

>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
[' Mr. Quilter is the apostle of the middle classes and we are glad to welcome his gospel.']

可以通过设置 skip_special_tokens=True 从转录的开头去除上下文标记。

法语到法语

以下示例通过适当设置解码器标识进行法语到法语的转录。

>>> from transformers import WhisperProcessor, WhisperForConditionalGeneration
>>> from datasets import Audio, load_dataset

>>> # load model and processor
>>> processor = WhisperProcessor.from_pretrained("openai/whisper-medium")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-medium")
>>> forced_decoder_ids = processor.get_decoder_prompt_ids(language="french", task="transcribe")

>>> # load streaming dataset and read first audio sample
>>> ds = load_dataset("common_voice", "fr", split="test", streaming=True)
>>> ds = ds.cast_column("audio", Audio(sampling_rate=16_000))
>>> input_speech = next(iter(ds))["audio"]
>>> input_features = processor(input_speech["array"], sampling_rate=input_speech["sampling_rate"], return_tensors="pt").input_features

>>> # generate token ids
>>> predicted_ids = model.generate(input_features, forced_decoder_ids=forced_decoder_ids)
>>> # decode token ids to text
>>> transcription = processor.batch_decode(predicted_ids)
['<|startoftranscript|><|fr|><|transcribe|><|notimestamps|> Un vrai travail intéressant va enfin être mené sur ce sujet.<|endoftext|>']

>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
[' Un vrai travail intéressant va enfin être mené sur ce sujet.']

翻译

将任务设置为“翻译”将强制 Whisper 模型执行语音翻译。

法语到英语

>>> from transformers import WhisperProcessor, WhisperForConditionalGeneration
>>> from datasets import Audio, load_dataset

>>> # load model and processor
>>> processor = WhisperProcessor.from_pretrained("openai/whisper-medium")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-medium")
>>> forced_decoder_ids = processor.get_decoder_prompt_ids(language="french", task="translate")

>>> # load streaming dataset and read first audio sample
>>> ds = load_dataset("common_voice", "fr", split="test", streaming=True)
>>> ds = ds.cast_column("audio", Audio(sampling_rate=16_000))
>>> input_speech = next(iter(ds))["audio"]
>>> input_features = processor(input_speech["array"], sampling_rate=input_speech["sampling_rate"], return_tensors="pt").input_features

>>> # generate token ids
>>> predicted_ids = model.generate(input_features, forced_decoder_ids=forced_decoder_ids)
>>> # decode token ids to text
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
[' A very interesting work, we will finally be given on this subject.']

评估

以下代码片段展示了如何评估 Whisper Medium 模型：

>>> from datasets import load_dataset
>>> from transformers import WhisperForConditionalGeneration, WhisperProcessor
>>> import torch
>>> from evaluate import load

>>> librispeech_test_clean = load_dataset("librispeech_asr", "clean", split="test")

>>> processor = WhisperProcessor.from_pretrained("openai/whisper-medium")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-medium").to("cuda")

>>> def map_to_pred(batch):
>>>     audio = batch["audio"]
>>>     input_features = processor(audio["array"], sampling_rate=audio["sampling_rate"], return_tensors="pt").input_features
>>>     batch["reference"] = processor.tokenizer._normalize(batch['text'])
>>> 
>>>     with torch.no_grad():
>>>         predicted_ids = model.generate(input_features.to("cuda"))[0]
>>>     transcription = processor.decode(predicted_ids)
>>>     batch["prediction"] = processor.tokenizer._normalize(transcription)
>>>     return batch

>>> result = librispeech_test_clean.map(map_to_pred)

>>> wer = load("wer")
>>> print(100 * wer.compute(references=result["reference"], predictions=result["prediction"]))
2.900409225488902

长篇转录

Whisper 模型本质上设计用于处理长达 30 秒的音频样本。然而，通过使用分块算法，可以使用它来转录任意长度的音频样本。这可以通过 Transformers pipeline 方法实现。通过设置 chunk_length_s=30 来启用分块。启用分块后，可以对批量推断的管道进行运行。还可以通过传递 return_timestamps=True 来扩展到预测序列级时间戳：

>>> import torch
>>> from transformers import pipeline
>>> from datasets import load_dataset

>>> device = "cuda:0" if torch.cuda.is_available() else "cpu"

>>> pipe = pipeline(
>>>   "automatic-speech-recognition",
>>>   model="openai/whisper-medium",
>>>   chunk_length_s=30,
>>>   device=device,
>>> )

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> sample = ds[0]["audio"]

>>> prediction = pipe(sample.copy(), batch_size=8)["text"]
" Mr. Quilter is the apostle of the middle classes, and we are glad to welcome his gospel."

>>> # we can also return timestamps for the predictions
>>> prediction = pipe(sample.copy(), batch_size=8, return_timestamps=True)["chunks"]
[{'text': ' Mr. Quilter is the apostle of the middle classes and we are glad to welcome his gospel.',
  'timestamp': (0.0, 5.44)}]

有关分块算法的更多详细信息，请参阅博文 ASR Chunking 。

微调

预训练的 Whisper 模型展现出了对不同数据集和领域的良好泛化能力。然而，通过使用仅有 5 小时标记数据进行微调，可以进一步提高模型在某些语言和任务上的预测能力。博文 Fine-Tune Whisper with ? Transformers 提供了一个逐步指南，介绍了如何进行 Whisper 模型的微调。

评估用途

这些模型的主要受众是研究人员，他们研究当前模型的稳健性、泛化性、能力、偏差和约束。然而，Whisper 对于开发人员来说也可能是非常有用的 ASR 解决方案，尤其是对于英语语音识别。我们意识到，一旦模型发布，就不可能限制只针对“预期”用途进行访问，也不可能就使用情况制定合理的指南。

这些模型的主要训练和评估是针对 ASR 和将语音翻译为英语的任务。它们在约 10 种语言的 ASR 方面显示出良好的结果。它们可能展示其他能力，特别是在进行了特定任务的微调，如语音活动检测、说话人分类或说话人分离方面，但这些领域还没有进行全面评估。我们强烈建议用户在部署这些模型之前，在特定的上下文和领域中对其进行全面评估。

特别地，我们警告不要使用 Whisper 模型来转录未经个人同意的录音，或者冒用这些模型进行任何主观分类。我们建议不要在决策场景等高风险领域使用模型，其中准确性的缺陷可能导致明显的缺陷。这些模型旨在转录和翻译语音，使用该模型进行分类不仅没有得到评估，而且也不适合，特别是推断人类属性。

训练数据

模型训练使用了来自互联网的 680,000 个小时的音频及其相应的转录。其中 65% 的数据（或 438,000 小时）为英语语言的音频和匹配的英语转录，约占总数据量的 18%（或 126,000 小时）为非英语语言的音频和英语转录，而最后的 17%（或 117,000 小时）为非英语语言的音频及其对应的转录。这些非英语数据代表了 98 种不同的语言。

正如在 the accompanying paper 中讨论的那样，我们看到在给定语言上的转录性能与我们在该语言上使用的训练数据量直接相关。

性能和局限性

我们的研究结果表明，相对于许多现有的 ASR 系统，这些模型在重音、背景噪声、技术语言以及从多种语言到英语的零-shot 翻译方面都具有更好的鲁棒性；在语音识别和翻译方面的准确性接近于最先进水平。

然而，由于这些模型是使用大规模的噪声数据进行弱监督训练的，预测结果可能包括实际上音频中没有出现的文本（即出现幻觉）。我们假设这是因为，鉴于模型对语言的一般了解，模型会将尝试预测音频中的下一个单词与尝试转录音频本身相结合。

我们的模型在不同语言上的表现不均匀，我们观察到低资源和/或发现性低的语言或对我们拥有较少训练数据的语言的准确性较低。这些模型在特定语言的不同口音和方言上的表现也不同，这可能包括在不同性别、种族、年龄或其他人口标准的说话者之间具有更高的词错误率。我们的全面评估结果在 the paper accompanying this release 中展示。

此外，模型的序列到序列架构使其易于生成重复的文本，这可以通过束搜索和温度调度在一定程度上缓解，但不能完全解决。关于这些局限性的进一步分析详见 the paper 。这种行为和幻觉在低资源和/或低发现性语言上可能更严重。

更广泛的意义

我们预计 Whisper 模型的转录能力可以用于改进辅助工具。虽然 Whisper 模型不能直接用于实时转录，但它们的速度和大小表明其他人可能能够在其上构建应用程序，实现近实时的语音识别和翻译。构建在 Whisper 模型之上的有益应用的真正价值表明，这些模型可能具有实际的经济影响。

发布 Whisper 还带来了潜在的双重用途问题。虽然我们希望这项技术主要用于有益目的，但使得 ASR 技术更易获得可以使更多行为者构建能力强大的监控技术或扩大现有的监控工作成为可能，因为速度和准确性使得大规模音频通信的低成本自动转录和翻译成为可能。此外，这些模型可能具有一些识别特定个体的能力，这进而引发了双重使用和不同表现相关的安全问题。实际上，我们预计转录成本不是扩大监控项目的限制因素。

BibTeX 条目和引用信息

@misc{radford2022whisper,
  doi = {10.48550/ARXIV.2212.04356},
  url = {https://arxiv.org/abs/2212.04356},
  author = {Radford, Alec and Kim, Jong Wook and Xu, Tao and Brockman, Greg and McLeavey, Christine and Sutskever, Ilya},
  title = {Robust Speech Recognition via Large-Scale Weak Supervision},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}