# RapidFuzz と difflib：このMacでのCPU文字列照合実測

依頼 req-20261022-065 / 題材 rapidfuzz-difflib-local-hikaku / 測定日 2026-11-03（JST）。
測定開始 2026-11-02T18:32:03Z、終了 2026-11-02T18:32:12Z。UTCの暦日は前日だがJSTでは11月3日。
鍵・ログイン・有料API・購入なしで両方をCPU実行でき、題材の3軸（類似度出力、照合結果、処理時間）は測定可能と判断した。
これは公開情報の転載ではなく、このMacで同じ文字列を両実装へ渡した実測である。

## 環境と入力

macOS-27.2-arm64-arm-64bit-Mach-O / CPython 3.14.10 / RapidFuzz 3.14.3 の macOS arm64 wheel。
RapidFuzzは `RAPIDFUZZ_IMPLEMENTATION=cpp` を指定し、`rapidfuzz.fuzz_cpp` の使用を確認。
GPU・Metalの初期化、音声入出力、say、Bluetoothは使わない。CPUの直列実行。
CPUの機種名、負荷、温度、周波数、電力は取得しておらず、他プロセスや省電力設定の影響は隔離していない。

seed=20261103のローカルPython生成データ。架空のブランド・品目・色と6文字の識別子を組み合わせ、
英語100候補・英語1000候補・日本語1000候補を用意した。各集合に16クエリを作り、
元のまま・中央1文字削除・中央2文字交換・ASCII全角化と小文字化を順に4件ずつ適用した。
候補の入力順とクエリの原文、元候補index、変形種別はinputs.jsonにすべて保存した。
英語100候補は英語1000候補の先頭部分であり、クエリ元indexは候補数に合わせて決める。
クエリの反復や近い識別子を含む人工データであり、一般の商品名・住所・顧客台帳などを代表しない。

各集合をraw（無加工）、nfkc_casefold（NFKC→casefold）の2条件で計測した。
前処理は両ツールに同じ関数を使い、計時範囲外で1回だけ行った。前処理の実行時間は未測定。
原文を維持した正規化前のスコアと、正規化後のスコアは区別する。

## APIと計時方法

- RapidFuzz: `fuzz.ratio(query, candidate, processor=None)`。ネイティブスコアは0〜100。
- difflib: `SequenceMatcher(None, query, candidate, autojunk=False).ratio()`。ネイティブスコアは0〜1。
- 両方とも全候補を同じPythonループで走査し、全スコアを生成、降順に並べて上位3件と1位同点数を返す。
  同点の場合は候補indexの小さい方を先にする。queryが第1引数、candidateが第2引数。
  SequenceMatcherの再利用やset_seq2によるキャッシュ、RapidFuzzのextract/cdistや並列化は使っていない。
- 各条件・各ツールで同じ処理を1周ウォームアップ後、5周計時。試行ごとに先に実行するツールを交互に変えた。
  1周は16クエリ×候補数であり、1照合の時間や1クエリの時間ではない。
- `perf_counter_ns()` による整数ナノ秒と、その10億分の1の秒を保存した。
  計時はスコア全件生成、順位sort、同点数の算出を含む。インストール・取得・import・入力生成・前処理・
  JSON入出力・ハッシュ計算は含まない。RapidFuzz importはraw.jsonに別記し、両者の起動時間比較には使わない。
- 初回と全5試行の全スコア・上位3件・同点数を正規JSONのSHA256で照合し、全試行で同じ出力を確認した。
  raw.jsonのresultsにはウォームアップ時の全スコアと上位3件を保存し、各試行にはその出力のSHA256を保存した。
  出力digestの正規化は再実行コードのdigest関数で定義する。inputs_sha256はinputs.jsonのファイルバイト列のSHA256。

## 今回の結果

以下は1周の時間の5試行中央値。各試行の値はraw.jsonのtrialsに保存した。

| 条件 | 候補数 | クエリ数 | RapidFuzz 中央値（秒） | difflib 中央値（秒） | 1位一致件数 |
|---|---:|---:|---:|---:|---:|
| en100-raw | 100 | 16 | 0.000510292 | 0.020639083 | 16 / 16 |
| en100-nfkc_casefold | 100 | 16 | 0.000547084 | 0.026019250 | 16 / 16 |
| en1000-raw | 1000 | 16 | 0.007805834 | 0.243680000 | 16 / 16 |
| en1000-nfkc_casefold | 1000 | 16 | 0.011261958 | 0.336183875 | 16 / 16 |
| ja1000-raw | 1000 | 16 | 0.008370416 | 0.249689833 | 16 / 16 |
| ja1000-nfkc_casefold | 1000 | 16 | 0.007621125 | 0.356275625 | 16 / 16 |

各条件で1位候補は16/16件一致した。これは2ツール間の一致数であり、照合の正答率ではない。
候補集合外の正解や意味的な正しさを判定していない。上位3件はraw.jsonから確認できる。

別途12組×前処理2条件のスコアをprobesに保存した。通常の誤字・日本語・全角・大文字小文字・
結合文字・文字交換・空文字・反復文字を含む。ここは出力観察であり、速度の評価には含めない。
例としてrawの `tide`→`diet` はRapidFuzzが50、difflibが0.25（100倍表示では25）。
逆順ではRapidFuzzが50、difflibが0.5（100倍表示では50）だった。
ネイティブの尺度を揃えるにはdifflibを100倍にできるが、アルゴリズムの意味や閾値が同一になるわけではない。

反復文字のprobe（`x`+`a`×300 と `a`×300+`y`）では、difflibのautojunk=Falseが
0.9966777408637874、autojunk=Trueが0だった。メインの速度比較はautojunk=Falseで固定し、
既定値Trueを使った速度比較には一般化しない。長い反復文字の処理時間そのものは未測定。

## 限界

外部推論、意味理解、LLMの回答品質、実業務の照合品質・精度は測っていない。
自作データの元候補indexは入力生成を追跡するために残し、実業務の正解ラベルとは扱わない。
大規模な百万候補、別のスコア関数、threshold/cutoff、各ツールの最適化API、
メモリ、並列化、GPU、別OS・別Pythonでの性能は測定していない。
比較対象は今回の2関数と共通の全件走査・順位処理であり、各ライブラリ全体の最速性能ではない。
この実行ではRapidFuzz側の時間が短かったが、データ・設定・CPU負荷が変わる場合の速度を保証しない。

## 保存ファイルと再実行

すべてのファイル名は `rapidfuzz-difflib-local-2026-11-03-req065-a1-` から始まる。
raw.json: 環境、条件、全60試行、全候補スコア、上位3件、個別probe、単位宣言。
inputs.json: 全入力と生成seed。dependency.json: 使用wheelのURL・容量・実取得SHA256とPyPI側宣言値。
run-log.txt: パッケージ取得とインストール、実行結果ログ。一時領域のパスは<TEMP>に置換。
replay.txt: 入力生成・取得・CPU設定・計測を含むPythonコード。README.md: 本書。

macOS arm64のPython 3.14と、公開PyPIへの通信が必要。追加の鍵は不要。
新しい出力先（まだ存在しないディレクトリ）を指定して実行する。

```sh
python3 measurements/rapidfuzz-difflib-local-2026-11-03-req065-a1-replay.txt --output-dir /private/tmp/rapidfuzz-rerun-new
```

出力先にはinputs.json/raw.json等の短い名前で保存する。既存出力先の上書きを拒否する。
スクリプトは台帳を変更しない。venvとwheelは作業コピーの外の/private/tmpで
TemporaryDirectoryを使って作成し、正常終了時・例外時に削除する。
生成文字列はメモリ上で作り、許可形式のJSONとして結果に保存する。一時venvやwheelは成果物に含めない。
実行失敗時は作成した出力ディレクトリも削除する。強制終了や電源断はPythonによる削除の保証対象外。
再実行の時間は変動する。公式wheelのSHA256を取得時に照合する。

公式資料（APIの意味を確かめる参考。これらの掲載値は実測値として転用していない）:
[RapidFuzz公式](https://github.com/rapidfuzz/RapidFuzz)、
[Python difflib公式](https://docs.python.org/3/library/difflib.html)。
オンラインPythonドキュメントの既定版とこのMacのPython版が一致するとは限らないため、
実測版は環境欄とdifflibソースのSHA256で特定する。

public/measurements/への配置はローカルの静的配信用コピーである。デプロイ、公開、X投稿、git commitはしていない。
