# whisper.cpp・faster-whisperのローカルCPU実測（req-20261022-065）

2026-10-31、このMacのworkspace-write砂場で両方を実行できた。対象IDは `whisper-cpp-faster-whisper-local-hikaku`。鍵・ログイン・有料API・買い物を使わず、公開モデルを取得した後の文字起こしをローカルCPUで行った。公開・X・git commitは行っていない。

## 入力と測定範囲

eSpeak NG（espeakng-loader 0.2.4）の `en-us` 音声、毎分145語の設定で、自作の英語3文を合成した。音声デバイスを開かない同期コールバックでPCMを受け取り、ffmpegで16kHz・mono・16bit PCM WAVに変換した。say、マイク、スピーカー、Bluetoothを使っていない。原稿はtruth.txt、生成コードはreplay.txtにある。

原稿: The morning train arrives at seven. Please bring a blue notebook to the meeting. We will compare two local speech tools on the same short recording.

WAVは151658フレーム、9.478625秒、303394バイト。非ゼロサンプル123470個、振幅RMS 0.08911430835723877。フレーム数・長さ・非ゼロ振幅を実行時に確認した。無音や正弦波の認識結果ではなく、上記原稿を音声合成器に発話させた検体への転記精度を測っている。実際に人間が聞いて発音を検査したものではない。

WAVのSHA256は `d2aba14bd02588483a8836923b89e3c4ebac5a76d4a9d383c017b4d4f6647cc4`。WAV・モデル・ビルド・仮想環境はコピーした作業場所の外の `/private/tmp` の一時領域に置き、終了時に削除する。許可拡張子に合わせてWAV本体は保存せず、生成条件、原稿、WAVとPCMのハッシュ、フレーム数をraw.jsonに残した。再実行で入力を生成できるが、ffmpegや環境差でWAVのハッシュが変わる可能性がある。

## 環境と設定

macOS-27.2-arm64-arm-64bit、Python 3.12.16、faster-whisper 1.2.1、CTranslate2 4.8.4。CPU機種名・搭載メモリは取得していない。同じ物理Macで逐次実行した。電源・温度・バックグラウンド負荷は制御していない。

両方とも公開のWhisper tiny multilingual系モデルを指定した。whisper.cppのソースrevisionは `482279b8a18855ba741d7b88c30fcb3874691f59`、GGMLモデルrevisionは `5359861c739e955e79d9a303bcbc70fb988958b1`、Systran/faster-whisper-tinyモデルrevisionは `d90ca5fe260221311c53c58e660288d3deb8d356`。各モデルファイルのSHA256・サイズ・取得時間は `setup.downloads` にある。

- whisper.cppは共有ライブラリのC APIを薄いC++ラッパーとctypesから呼び出した。ReleaseビルドでGGML_METAL・GGML_CUDA・GGML_VULKAN・GGML_OPENMP・WHISPER_COREMLをOFFにした。初期化前から `use_gpu=false` と `flash_attn=false` を渡した。Apple AccelerateのCPU BLASは有効。CMakeCacheの該当値をraw.json、初期化のCPUログをrun-log.txtに保存した。
- faster-whisperは `WhisperModel(local_path, device='cpu', compute_type='float32', cpu_threads=1, num_workers=1, local_files_only=True)`。実際のdevice=cpu、compute_type=float32を確認した。
- 言語en、文字起こし（翻訳なし）、beam size 5、temperature 0、前回テキストの引継ぎなし、タイムスタンプ生成なし、VADなし。OMP・BLAS・Accelerate系の環境変数とwhisper.cppの推論スレッド数も1に設定した。CPU実行条件をそろえた比較で、内部ライブラリの全スレッドをOS側から監査したものではない。
- whisper.cppは未量子化GGMLのF16保存重み、faster-whisperはfloat32演算を使用した。重み形式・内部カーネル・beam探索や停止判定の実装は異なる。同一ファイル形式・完全に同じ数値計算の比較ではない。高速化の既定値であるint8の比較もしていない。faster-whisperの実効オプションは各行のeffective_options、whisper.cppの設定はreplay.txtのラッパーに残した。
- C++標準ヘッダーが自動で見つからなかったため、手元のCommand Line Tools SDKのincludeパスをCMAKE_CXX_FLAGSとラッパーのコンパイルに明示した。権限は広げていない。

## 計時と結果

共通WAVを1回だけ読み、同じfloat32配列を両方へ渡した。モデル常駐で各1回ウォームアップ後に各3回測定した。奇数回はwhisper.cpp→faster-whisper、偶数回は逆順。`perf_counter_ns()`でAPI呼出しから全segmentsの取得、テキスト結合・前後空白の除去までを計時した。faster-whisperのgeneratorは最後まで取り出している。WAV読込・デコード、モデル取得・ロード、採点、ファイル保存は計時に含めない。CLI起動時間の比較ではない。

| ツール | 中央値（秒） | 最小〜最大（秒） | CER 1〜3回（%） | 出力1〜3回（バイト） |
|---|---:|---:|---|---|
| whisper-cpp | 3.274906709 | 3.012943167〜4.212151125 | 8.333333333333332, 8.333333333333332, 8.333333333333332 | 144, 144, 144 |
| faster-whisper | 1.014322833 | 1.009346125〜2.645621458 | 8.333333333333332, 8.333333333333332, 8.333333333333332 | 143, 143, 143 |

同じ1検体の時間の揺れを見る反復であり、独立した音声を3本評価した結果ではない。秒数の全桁はraw.jsonとtrials.csvに保存した。出力は全segmentsを区切りを追加せず連結し、前後の空白を除去し、最後にLFを1つ加えたUTF-8 TXT。サイズはこの実ファイルのバイト数であり、モデルやJSONの容量ではない。出力内容・サイズ・SHA256を各試行に記録した。

CERは正解と出力をUnicode NFKC→casefold→isalnum文字だけ保持の順で正規化し、文字単位Levenshtein距離÷正解文字数×100で求めた。正解は正規化後120文字。空白・句読点・大文字小文字は採点対象に含めない。数詞と数字は同一視せず、正解sevenに対する出力7も文字の誤りとして数える。この正規化を前提としたCERで、意味上の誤り率や句読点込みの完全一致率ではない。置換・削除・挿入と全文アラインメントを残した。同点は一致→置換→削除→挿入の優先順。原稿や出力を結果に合わせて修正していない。

## 取得・初期ロードの分離

モデル取得時間はcurlによる各ファイルのHTTP取得（リダイレクト・接続・書込を含む）の秒数で、再試行があればその待ち時間も含む。ローカルキャッシュは使わず、一時領域へ取得した。取得と推論の時間を足していない。whisper.cppの初回モデルロードは0.160068583秒、faster-whisperは0.413863166秒。import、音声生成、ウォームアップも別に記録した。パッケージ導入とC++ビルドの所要時間は測っていない。

取得後はHF_HUB_OFFLINEとlocal_files_onlyを指定し、Pythonのsocket接続メソッドも拒否した。外部推論APIは呼んでいない。OS全体の通信監査を実施したという意味ではない。

## 限界

この英語合成音声1本への転記精度・処理時間・出力容量だけを測った。一般の会話精度、日本語、自然な肉声、複数話者、雑音、長時間録音、固有名詞、別の声や速度は測っていない。日本語の道具選びや通常の会議録の品質へ一般化できない。外部推論やLLMの回答品質は測っていない。GPU/Metal、メモリ、電力、費用、CLIの起動を含む総待ち時間も未測定。インターネット上のベンチマーク値を実測として転載していない。

## 再実行と引き継ぎ

replay.txtはそのままPythonで実行できるコードで、C++ラッパーと音声生成・モデル取得・採点を含む。MacのCommand Line Tools、SDK、ffmpeg、Python 3.12が必要。requirements.txtは今回導入した版の固定表。macOS 27.2 arm64で実行した経路は `--prebuilt` で同一revisionのCPUビルドを再利用したもの。初回ビルドは同じFLAGSで別途実行し成功した。下記の一括再実行経路を最初から2度目に通す試験はしていない。

```bash
python3.12 - <<'PY'
from pathlib import Path
import os, subprocess, tempfile
with tempfile.TemporaryDirectory(prefix='whisper-rerun-', dir='/private/tmp') as td:
    env = Path(td) / 'venv'
    subprocess.run(['python3.12', '-m', 'venv', str(env)], check=True)
    py = str(env / 'bin/python')
    subprocess.run([py, '-m', 'pip', 'install', '--no-cache-dir', '-r', 'measurements/whisper-cpp-faster-whisper-local-2026-10-31-req065-a1-requirements.txt'], check=True)
    child_env = dict(os.environ, PATH=str(env / 'bin') + os.pathsep + os.environ['PATH'])
    subprocess.run([py, 'measurements/whisper-cpp-faster-whisper-local-2026-10-31-req065-a1-replay.txt', '--output', str(Path(td) / 'results')], check=True, env=child_env)
    print((Path(td) / 'results' / 'whisper-cpp-faster-whisper-local-2026-10-31-req065-a1-trials.csv').read_text())
PY
```

`--output` は未使用の場所を指定する。コードは既存出力を上書きしない。入力とモデルは内部のTemporaryDirectoryで自動削除し、上記例ではvenvと再実行結果も終了時に削除する。今回の成果物を保存したmeasurements/とpublic/measurements/の各ファイルは同一バイト。manifest.jsonは自身以外のファイルのSHA256・サイズを持つ。台帳は対象IDだけを登録し、各回の実測数値をidentity・tolerance 0で参照する。既存のaggregate enumを確認して使った。親がリポジトリ検査とcommitを行う。

## 公式参照

仕様・導入の確認先。これらの掲載値を実測結果として扱っていない。

- [whisper.cpp公式](https://github.com/ggml-org/whisper.cpp)
- [faster-whisper公式（CPU指定・segmentsの遅延実行）](https://github.com/SYSTRAN/faster-whisper)
- [CTranslate2公式導入資料](https://opennmt.net/CTranslate2/installation.html)
- [公開tinyモデル](https://huggingface.co/Systran/faster-whisper-tiny)
- [eSpeak NG](https://github.com/espeak-ng/espeak-ng)
