Adapting Whisper for Japanese-to-Chinese Speech Translation on Lightweight Models

摘要

本文研究 Whisper 轻量级模型在非英语语言对之间直接翻译的潜力，重点关注日语到中文的语音翻译。Whisper 开箱即支持多语言转写和以英语为目标语言的翻译，但不支持其他翻译方向。

我们使用一个高质量数据集对 Whisper 的 base 和 tiny 两个版本进行微调，数据来自与简体中文字幕对齐的日本电影、电视剧和动画。结果显示，base 模型在真实数据上取得了可观的 BLEU 分数，而 tiny 模型则难以生成语义完整的输出。

这些发现表明，Whisper 的架构可以适配非英语翻译任务，但模型规模仍是关键因素。本研究也展示了在 GPU 受限或边缘计算环境中部署紧凑型语音识别与翻译模型的潜力，并为资源受限场景下多语言翻译的准确率与效率权衡提供了参考。

引用本文

@misc{feng2025whisper,
  title={Adapting Whisper for Japanese-to-Chinese Speech Translation on Lightweight Models},
  author={Jian Feng},
  year={2025},
  url={https://www.itbanque.com/assets/papers/Adapting Whisper for Japanese-to-Chinese Speech Translation on Lightweight Models.pdf}
}