ローカルLLM

MLX LM・llama.cpp比較|同じ小型モデルをMacで動かす速さとメモリを比べる

この記事の料金・仕様は時点で各社の公式ページを確認したものです。

小さな機械が二つ並んで文字を書き出している様子を表した抽象イラスト

どちらがMacのメモリを節約できるのか。同じ入力で三回ずつ動かした結果と、準備でつまずいた所、選び方の流れ図をまとめました。

結論

メモリが少ないMacや、待ち時間を短くしたい人は
この条件ではllama.cppのほうが、処理時間もピークメモリも小さく済みました。Apple siliconを最優先の対象として最適化している点とも、結果の向きは合っています。
Pythonのコードに組み込みたい人は
MLX LMはPythonのパッケージで、Hugging Faceのモデルをひとつのコマンドで使えます。CPU専用の比較では遅くても、こちらを選ぶ理由はこの手軽さにあります。

同じ64トークンの生成に、llama.cpp は2.379949541秒から2.704546166秒でした。

MLX LM は5.208084832993336秒から9.021185207995586秒です。

意外だったのは、Apple silicon 向けのMLX LM のほうが遅く、メモリも多く使った点です。 どちらもGPUを切ったCPU専用ビルドでの結果で、条件は最後の節にまとめます。

先に結論:この条件では llama.cpp が速くて軽い

CPU専用で同じ小型モデルを動かすなら、MLX LM より llama.cpp のほうが秒数もメモリも小さく済みました。 三回ずつ動かして、差の向きは毎回同じでした。

私がいちばん驚いたのは、最も遅い llama.cpp でも最も速い MLX LM より短く終わったことです。 根拠は次の節の表にそのまま並べました。

下の図に、二つの特徴を一言ずつ置きます。

二つの実行環境を一言で

llama.cpp

C/C++で書かれた推論の道具。この測定では速く、メモリも小さく済んだ。

MLX LM

Python向けのパッケージ。この測定では遅めでメモリも多いが、Hugging Faceのモデルを手軽に使える。

出典: 各社の公式ページ(2026年11月2日確認)

同じ入力・同じ生成上限での処理時間(秒)

処理時間は、入力を読み込んで64トークンを書き終えるまでの秒数です。 トークンは、AIが文章を数える単位で、単語や文字の切れ端にあたります。

使ったモデルは Qwen2.5-0.5B-Instruct で、量子化(数値を粗くして軽くする処理)をしないFP16の形です。 入力も、温度(答えのばらつきを決める値)も、生成の上限も二つで揃えました。

表の「読み込み」は、モデルを開いて実行の準備をするまでの秒数です。

実行順実行環境処理時間(秒)読み込み(秒)
1MLX LM9.0211852079955860.584411000018008
2llama.cpp2.7045461660.228457417
3llama.cpp2.3799495410.280092
4MLX LM5.6600251659983770.8206477080238983
5MLX LM5.2080848329933361.0450579170137644
6llama.cpp2.4146951250.28113875

最も遅い llama.cpp は2.704546166秒で、最も速い MLX LM の5.208084832993336秒より短く終わりました。

最初に動かした MLX LM だけが9.021185207995586秒と長く、あとの二回は5秒台でした。 読み込みも、llama.cpp が0.228457417秒から0.28113875秒、MLX LM が0.584411000018008秒から1.0450579170137644秒です。

生成速度(tokens/s)

生成速度は、1秒あたりに作れたトークンの数です。 最初の1トークンを除いた速度と、入力の処理まで含めた速度の二種類を並べます。

実行順実行環境最初を除く生成速度(トークン/秒)入力処理を含む生成速度(トークン/秒)
1MLX LM7.7208736682262577.0944114907735205
2llama.cpp32.63616273323200523.663859321231495
3llama.cpp32.4941392461528726.891326432538012
4MLX LM11.55276928771307611.307370218858555
5MLX LM12.61654586314430712.288586313832399
6llama.cpp29.64308490644106826.5043811690306

最も遅い llama.cpp の29.643084906441068トークン/秒でも、最も速い MLX LM の12.616545863144307トークン/秒を上回りました。

MLX LM は三回で7.720873668226257から12.616545863144307まで開き、llama.cpp より回ごとのばらつきが目立ちます。 どちらの実行環境も、生成したトークンは毎回64でした。

各プロセスのピークRSS(MiB)

RSS は、動いているプログラム1つが実際に使った物理メモリの最大値です。 MiB は、メモリの量を表す単位(1MiB は約100万バイト)です。

実行順実行環境ピークRSS(MiB)
1MLX LM1475.6875
2llama.cpp1032.03125
3llama.cpp1032.796875
4MLX LM1477.921875
5MLX LM1476.015625
6llama.cpp1032.984375

llama.cpp は三回とも1032MiB台に収まりました。 MLX LM は1475.6875から1477.921875の間で、最小値でも llama.cpp の最大値1032.984375を上回っています。

MLX LM はPythonの部品もメモリに乗せるので、モデルを読む前から土台の分が上乗せされます。 この数字には、準備と読み込みと生成のすべてが含まれます。

ここが落とし穴:速さの前に準備でつまずいた

比較の数字より先に、動かすまでの準備で差が出ました。

MLX LM をCPU専用でソースから作る工程は、最初の二回が失敗しました。 三回目にヘッダー(部品の宣言を集めたファイル)を足して、168.25743204099126秒で通りています。

llama.cpp のビルドは一回で通り、48.12027579097776秒でした。 モデルの形式変換は、MLX形式が3.717679459019564秒、GGUF形式が7.101479790988378秒です。

変換用のスクリプトは、どちらも公式のものを使いました。 MLX側は量子化もできる変換、llama.cpp側は出力の数値形式を選べる変換です。

向く人・向かない人・代替案

メモリを節約したい人と、秒数を最優先する人は llama.cpp が向きます。 Python のコードから呼び出したい人は MLX LM が向きます。

選ぶ理由は三つに絞れます。

  1. 待ち時間を短くしたい人は llama.cpp です。最も遅い回でも2.704546166秒で、MLX LM の最も速い5.208084832993336秒より短く終わりました。
  2. メモリが厳しいMacの人も llama.cpp です。ピークRSSは最大でも1032.984375MiBで、MLX LM の最小1475.6875MiBより小さくなりました。
  3. Pythonで組み込みたい人は MLX LM です。Hugging Face のモデルをひとつのコマンドで使えるパッケージだからです。

向かないのは、この記事の数字をそのままGPU利用時の速さとして読む人です。 その場合の代替案は、自分のMacで両方を動かして秒数を取ることです。

下の流れ図で、自分の条件から選べます。

どちらを選ぶかの流れ図

  1. 1. Macのメモリに余裕がない、または待ち時間を最優先したい?
    はい → llama.cppを選ぶいいえ → 2
  2. 2. 自分のPythonコードの中からモデルを呼び出したい?
    はい → MLX LMを選ぶいいえ → 3
  3. 3. GPUを使う通常の設定での速さを知りたい?
    はい → この記事の数字は使えない。自分のMacで両方を動かして確かめるいいえ → llama.cppを選ぶ
出典: 各社の公式ページ(2026年11月2日確認)

測定と比較の範囲

この記事の数字は、2026年11月1日に取ったCPU専用ビルドの記録です。 実行環境は macOS 27.2 の arm64 の Mac で、MLX LM は Python 3.14.10 から動かしました。 Metal(GPU)を使う通常の設定での速さは測っていません。

  • 使ったモデルは Qwen2.5-0.5B-Instruct の一つで、入力は1種類、生成の上限は64トークンです。
  • 実行は各実行環境で三回、毎回新しいプロセスで、順番は表のとおりです。
  • 両方とも、ひとつずつ順に作る同期の貪欲法(確率が最も高いトークンを選ぶ方法)で、温度は0です。
  • llama.cpp は文脈の長さ512のFP16で6スレッド、MLX LM は既定の設定で、スレッド数は揃っていません。
  • 準備運転はなく、OSのキャッシュも消していません。最初の MLX LM が遅かった理由は切り分けていません。
  • RSS は各プロセスの値で、GPUを含むMac全体のメモリ使用量ではありません。
  • 回答の品質は評価しておらず、生成された文章が両方で同じになる保証もありません。外部の推論サービスや有料APIは使っていません。

出典

出典: MLX LM、llama.cpp、Qwen2.5-0.5B-Instruct のモデルページ、2つの変換スクリプトの各公式ページ(2026年11月2日確認)。 自前の測定の生データは、公開している測定記録のJSONにあります。

変更履歴

  • 2026年11月2日:初版を作成。

このサイトで測った元データ

関連記事