同じ64トークンの生成に、llama.cpp は2.379949541秒から2.704546166秒でした。
MLX LM は5.208084832993336秒から9.021185207995586秒です。
意外だったのは、Apple silicon 向けのMLX LM のほうが遅く、メモリも多く使った点です。 どちらもGPUを切ったCPU専用ビルドでの結果で、条件は最後の節にまとめます。
先に結論:この条件では llama.cpp が速くて軽い
CPU専用で同じ小型モデルを動かすなら、MLX LM より llama.cpp のほうが秒数もメモリも小さく済みました。 三回ずつ動かして、差の向きは毎回同じでした。
私がいちばん驚いたのは、最も遅い llama.cpp でも最も速い MLX LM より短く終わったことです。 根拠は次の節の表にそのまま並べました。
下の図に、二つの特徴を一言ずつ置きます。
二つの実行環境を一言で
llama.cpp
C/C++で書かれた推論の道具。この測定では速く、メモリも小さく済んだ。
MLX LM
Python向けのパッケージ。この測定では遅めでメモリも多いが、Hugging Faceのモデルを手軽に使える。
同じ入力・同じ生成上限での処理時間(秒)
処理時間は、入力を読み込んで64トークンを書き終えるまでの秒数です。 トークンは、AIが文章を数える単位で、単語や文字の切れ端にあたります。
使ったモデルは Qwen2.5-0.5B-Instruct で、量子化(数値を粗くして軽くする処理)をしないFP16の形です。 入力も、温度(答えのばらつきを決める値)も、生成の上限も二つで揃えました。
表の「読み込み」は、モデルを開いて実行の準備をするまでの秒数です。
| 実行順 | 実行環境 | 処理時間(秒) | 読み込み(秒) |
|---|---|---|---|
| 1 | MLX LM | 9.021185207995586 | 0.584411000018008 |
| 2 | llama.cpp | 2.704546166 | 0.228457417 |
| 3 | llama.cpp | 2.379949541 | 0.280092 |
| 4 | MLX LM | 5.660025165998377 | 0.8206477080238983 |
| 5 | MLX LM | 5.208084832993336 | 1.0450579170137644 |
| 6 | llama.cpp | 2.414695125 | 0.28113875 |
最も遅い llama.cpp は2.704546166秒で、最も速い MLX LM の5.208084832993336秒より短く終わりました。
最初に動かした MLX LM だけが9.021185207995586秒と長く、あとの二回は5秒台でした。 読み込みも、llama.cpp が0.228457417秒から0.28113875秒、MLX LM が0.584411000018008秒から1.0450579170137644秒です。
生成速度(tokens/s)
生成速度は、1秒あたりに作れたトークンの数です。 最初の1トークンを除いた速度と、入力の処理まで含めた速度の二種類を並べます。
| 実行順 | 実行環境 | 最初を除く生成速度(トークン/秒) | 入力処理を含む生成速度(トークン/秒) |
|---|---|---|---|
| 1 | MLX LM | 7.720873668226257 | 7.0944114907735205 |
| 2 | llama.cpp | 32.636162733232005 | 23.663859321231495 |
| 3 | llama.cpp | 32.49413924615287 | 26.891326432538012 |
| 4 | MLX LM | 11.552769287713076 | 11.307370218858555 |
| 5 | MLX LM | 12.616545863144307 | 12.288586313832399 |
| 6 | llama.cpp | 29.643084906441068 | 26.5043811690306 |
最も遅い llama.cpp の29.643084906441068トークン/秒でも、最も速い MLX LM の12.616545863144307トークン/秒を上回りました。
MLX LM は三回で7.720873668226257から12.616545863144307まで開き、llama.cpp より回ごとのばらつきが目立ちます。 どちらの実行環境も、生成したトークンは毎回64でした。
各プロセスのピークRSS(MiB)
RSS は、動いているプログラム1つが実際に使った物理メモリの最大値です。 MiB は、メモリの量を表す単位(1MiB は約100万バイト)です。
| 実行順 | 実行環境 | ピークRSS(MiB) |
|---|---|---|
| 1 | MLX LM | 1475.6875 |
| 2 | llama.cpp | 1032.03125 |
| 3 | llama.cpp | 1032.796875 |
| 4 | MLX LM | 1477.921875 |
| 5 | MLX LM | 1476.015625 |
| 6 | llama.cpp | 1032.984375 |
llama.cpp は三回とも1032MiB台に収まりました。 MLX LM は1475.6875から1477.921875の間で、最小値でも llama.cpp の最大値1032.984375を上回っています。
MLX LM はPythonの部品もメモリに乗せるので、モデルを読む前から土台の分が上乗せされます。 この数字には、準備と読み込みと生成のすべてが含まれます。
ここが落とし穴:速さの前に準備でつまずいた
比較の数字より先に、動かすまでの準備で差が出ました。
MLX LM をCPU専用でソースから作る工程は、最初の二回が失敗しました。 三回目にヘッダー(部品の宣言を集めたファイル)を足して、168.25743204099126秒で通りています。
llama.cpp のビルドは一回で通り、48.12027579097776秒でした。 モデルの形式変換は、MLX形式が3.717679459019564秒、GGUF形式が7.101479790988378秒です。
変換用のスクリプトは、どちらも公式のものを使いました。 MLX側は量子化もできる変換、llama.cpp側は出力の数値形式を選べる変換です。
向く人・向かない人・代替案
メモリを節約したい人と、秒数を最優先する人は llama.cpp が向きます。 Python のコードから呼び出したい人は MLX LM が向きます。
選ぶ理由は三つに絞れます。
- 待ち時間を短くしたい人は llama.cpp です。最も遅い回でも2.704546166秒で、MLX LM の最も速い5.208084832993336秒より短く終わりました。
- メモリが厳しいMacの人も llama.cpp です。ピークRSSは最大でも1032.984375MiBで、MLX LM の最小1475.6875MiBより小さくなりました。
- Pythonで組み込みたい人は MLX LM です。Hugging Face のモデルをひとつのコマンドで使えるパッケージだからです。
向かないのは、この記事の数字をそのままGPU利用時の速さとして読む人です。 その場合の代替案は、自分のMacで両方を動かして秒数を取ることです。
下の流れ図で、自分の条件から選べます。
どちらを選ぶかの流れ図
- 1. Macのメモリに余裕がない、または待ち時間を最優先したい?はい → llama.cppを選ぶいいえ → 2
- 2. 自分のPythonコードの中からモデルを呼び出したい?はい → MLX LMを選ぶいいえ → 3
- 3. GPUを使う通常の設定での速さを知りたい?はい → この記事の数字は使えない。自分のMacで両方を動かして確かめるいいえ → llama.cppを選ぶ
測定と比較の範囲
この記事の数字は、2026年11月1日に取ったCPU専用ビルドの記録です。 実行環境は macOS 27.2 の arm64 の Mac で、MLX LM は Python 3.14.10 から動かしました。 Metal(GPU)を使う通常の設定での速さは測っていません。
- 使ったモデルは Qwen2.5-0.5B-Instruct の一つで、入力は1種類、生成の上限は64トークンです。
- 実行は各実行環境で三回、毎回新しいプロセスで、順番は表のとおりです。
- 両方とも、ひとつずつ順に作る同期の貪欲法(確率が最も高いトークンを選ぶ方法)で、温度は0です。
- llama.cpp は文脈の長さ512のFP16で6スレッド、MLX LM は既定の設定で、スレッド数は揃っていません。
- 準備運転はなく、OSのキャッシュも消していません。最初の MLX LM が遅かった理由は切り分けていません。
- RSS は各プロセスの値で、GPUを含むMac全体のメモリ使用量ではありません。
- 回答の品質は評価しておらず、生成された文章が両方で同じになる保証もありません。外部の推論サービスや有料APIは使っていません。
出典
出典: MLX LM、llama.cpp、Qwen2.5-0.5B-Instruct のモデルページ、2つの変換スクリプトの各公式ページ(2026年11月2日確認)。 自前の測定の生データは、公開している測定記録のJSONにあります。
変更履歴
- 2026年11月2日:初版を作成。
