Whisper.cpp + GPU 加速全攻略：Mac M 芯片高效转录音频教程
内容预告
本文将手把手教你如何利用 GPU 加速，在 Mac M 芯片上使用 Whisper 进行音频转文字，大幅提升转录效率。
本教程涵盖：
- Whisper.cpp 简介：为什么它适用于本地语音转写？
- Mac M 芯片的 GPU 加速：如何使用 CoreML 提升处理速度？
- 完整搭建流程：环境准备、项目编译、模型下载、音频格式转换等。
- 实战优化技巧：批量转换、手动下载模型、避免常见问题等。
为爱发电，如果对你有帮助，请不吝 点赞 和 关注，谢谢 😁
1. 背景介绍
Whisper.cpp 简介
Whisper 是 OpenAI 开源的语音识别模型，支持多语言转写，在降噪和语音识别方面表现出色。whisper.cpp 是该项目的 C/C++ 版本，可以在本地设备上高效运行，无需 Python 依赖，非常适合 轻量级部署。
Mac M 芯片的 GPU 加速
Apple M1/M2/M3 芯片内置 高性能 GPU 和 Neural Engine，但默认情况下 Whisper.cpp 不会自动利用 GPU。
我们可以使用 CoreML 工具链 将 Whisper 模型转换为 CoreML 格式，从而大幅加快语音转写速度。
2. 环境准备
2.1 安装 Xcode 及命令行工具
首先，确保你已安装 Xcode 并配置好 Command Line Tools：
xcode-select --install
如果已安装，可以通过以下命令检查：
xcode-select -p
2.2 安装 Homebrew（推荐）
Homebrew 是 macOS 上的包管理工具，可用于安装必要的依赖：
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install cmake ffmpeg
3. 下载 Whisper.cpp 并获取模型
3.1 克隆项目代码
git clone https://github.com/ggerganov/whisper.cpp.git cd whisper.cpp
3.2 下载模型文件
Whisper 提供多个不同规模的模型：
Model 磁盘占用 内存占用（约） tiny 75 MB 273 MB base 142 MB 388 MB small 466 MB 852 MB medium 1.5 GB 2.1 GB large 2.9 GB 3.9 GB 下载方式：
sh ./models/download-ggml-model.sh large-v3-turbo
如果遇到 下载速度慢，可以手动下载：
curl -L -o models/ggml-large-v3-turbo.bin https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-large-v3-turbo.bin
4. 配置 GPU 加速（Mac M 芯片）
4.1 安装 Python 及 Conda
推荐使用 Miniforge 作为 Conda 发行版：
brew install miniforge conda create -n whisper_env python=3.10 -y conda activate whisper_env
4.2 安装依赖
pip install torch==2.5.0 --extra-index-url https://download.pytorch.org/whl/cpu pip install openai-whisper coremltools pip install --no-deps ane-transformers
验证是否成功安装：
python -c "import torch; print(torch.__version__)" python -c "import whisper; print(whisper.__version__)"
5. 模型转换为 CoreML 格式
运行以下命令，将 Whisper 模型转换为 CoreML 格式 以实现 GPU 加速：
./models/generate-coreml-model.sh large-v3-turbo
如果报错 coremlc: error: Model does not exist，请手动下载：
curl -L -o models/coreml-encoder-large-v3-turbo.mlpackage https://huggingface.co/ggerganov/whisper.cpp/resolve/main/coreml-encoder-large-v3-turbo.mlpackage
放在 whisper.cpp/models/ 文件夹下面
6. 编译 Whisper.cpp
6.1 使用 Makefile 构建
make clean WHISPER_COREML=1 make -j
6.2 使用 CMake 构建
mkdir build && cd build cmake -DWHISPER_COREML=1 .. make -j
构建成功后，你会看到如下输出：
7. 运行 Whisper 转录程序
以 Whisper Large V3 turbo 为例，确保输入的音频文件是 WAV 格式：
./build/bin/whisper-cli -m models/ggml-large-v3-turbo.bin -f samples/jfk.wav
运行时，你会看到 GPU 资源正在被使用：
8. 语音格式转换（可选）
如果你的音频文件是 .mp3，可以使用 FFmpeg 转换：
ffmpeg -i steve.mp3 -ar 16000 -ac 1 -c:a pcm_s16le steve.wav
批量转换
for file in *.mp3; do ffmpeg -i "$file" -ar 16000 -ac 1 -c:a pcm_s16le "${file%.mp3}.wav"; done如果你想让 Whisper 在 Mac 上发挥最大性能，这篇教程能帮到你！🔥
不定期更新专业知识和有趣的东西，欢迎反馈、点赞、加星
您的鼓励和支持是我坚持创作的最大动力！ღ( ´･ᴗ･` )
