100万行のCSVを2回読み込む時間は、pandasが405196125ナノ秒、Polarsが23923875ナノ秒でした。 予想と違ったのは、小さな表の集計では、Polarsを1スレッドに絞ったほうが短く終わったことです。
ナノ秒は、10億分の1秒を表す単位です。 読み終わると、自分の表の大きさに合わせて、どちらを選ぶかを数字で決められます。
読み込み:CSVを表にする時間は、全てのサイズでPolarsが短く終わりました
pandasもPolarsも、CSVを読み込んで、列のそろった表(DataFrame)に直せます。 今回は型の指定をせず、どちらも既定の設定で読み込みました。
pandasの公式ページは、速くて柔軟なデータ構造を持つ、Pythonのパッケージと説明しています。 読み書きの道具も、フラットファイルやExcel、データベース向けに用意されています。
Polarsは、Rustで書かれた分析用のエンジンです。 複数のスレッド(仕事を同時に進める作業員の数)を使い、並列に処理を進めます。
使った表は、日本語を含む文字列、整数、小数の6列を持つ、自作のCSVです。 行数は1万、10万、100万の3通りで、中身は両方の道具に同じものを渡しました。
次の表では、読み込みにかかった時間の1回目の値を見てください。 Polarsは、スレッドの数が既定の12のときの値です。
| 行数(1回の測定で読む回数) | pandas | Polars |
|---|---|---|
| 1万行(50回分) | 111151833ナノ秒 | 23843666ナノ秒 |
| 10万行(10回分) | 208991333ナノ秒 | 14336709ナノ秒 |
| 100万行(2回分) | 405196125ナノ秒 | 23923875ナノ秒 |
回数が違うので、行数をまたいだ比べ方はできません。 同じ行の中で、二つの道具を見比べてください。
Polarsを1スレッドに絞っても、差は残りました。 100万行の読み込みでは、pandasが400433291ナノ秒、Polarsが167433625ナノ秒です。
読み込みの速さは、並列の効果だけではないようです。 ただ、その理由まで切り分けるデータは、今回の記録にはありません。
出典: pandas公式のGitHubページ、Polars公式のGitHubページ(2026年11月13日確認)
集約結果:二つの道具は、同じ計算結果を返しました
集約は、地域やカテゴリごとに、合計や平均を出す処理です。 今回の測定記録では、全てのサイズで、読み込んだ表と集約の値が、pandasとPolarsで一致しました。
集約には2種類あります。 一つは地域の1列だけで分ける1キー集約、もう一つは地域とカテゴリの2列で分ける2キー集約です。
pandasは、分割・適用・結合のグループ化を、機能の一つとして持っています。 Polarsは、DataFrameのAPIとSQLのどちらでも、問い合わせを書けます。
結果が同じなら、選ぶ決め手は、書きやすさと時間になります。 結果の食い違いを心配して、道具を変えるのをためらう必要は、この範囲ではありませんでした。
出典: pandas公式のGitHubページ、Polars公式のGitHubページ(2026年11月13日確認)
処理時間:集約でもPolarsが短く、小さな表ではスレッド数が逆効果になりました
読み込み済みの表を集約する時間も、全てのサイズでPolarsが短く終わりました。 差の大きさは、行数や集約の種類で変わります。
次の表は、スレッドの数が既定の12のときの、1回目の値です。 集約の回数は、行数ごとに変えてあります。
| 行数と集約の種類(回数) | pandas | Polars |
|---|---|---|
| 1万行・1キー(200回分) | 286988750ナノ秒 | 85353166ナノ秒 |
| 10万行・1キー(50回分) | 219585583ナノ秒 | 45591375ナノ秒 |
| 100万行・1キー(5回分) | 187071583ナノ秒 | 37412459ナノ秒 |
| 1万行・2キー(200回分) | 349305458ナノ秒 | 107935334ナノ秒 |
| 10万行・2キー(50回分) | 373539833ナノ秒 | 64518459ナノ秒 |
| 100万行・2キー(5回分) | 317174542ナノ秒 | 40533666ナノ秒 |
予想を外したのは、1万行の集約です。 Polarsを1スレッドにすると、1キーは44367542ナノ秒、2キーは54663458ナノ秒でした。
既定の12スレッドの値は、1キーが85353166ナノ秒、2キーが107935334ナノ秒です。 小さな表では、作業員を増やす手間が、時間の短縮を上回ったようです。
10万行になると、向きが変わります。 1キーは、1スレッドが81516792ナノ秒、既定の12スレッドが45591375ナノ秒です。
1スレッドでも、Polarsはpandasより短く終わりました。 100万行・2キーでは、pandasが288867959ナノ秒、Polarsが123256750ナノ秒です。
道具ごとの一言まとめ
pandas
ラベル付きの表を柔軟に加工できる、定番の道具です。手元の測定では、Polarsより時間が長くかかりました。
Polars
Rust製で、複数のコアを使って並列に進める分析エンジンです。手元の測定では、全てのサイズで時間が短く終わりました。
上のカードで、道具ごとの違いを一言で確かめられます。
出典: Polars公式のGitHubページ(2026年11月13日確認)
ここが落とし穴:測定ごとに回数が違う数字を、そのまま並べない
表の数字は、1回分ではなく、まとめて複数回流したときの合計の時間です。 行数ごとに流した回数が違うので、1万行の数字と100万行の数字を、直接は比べられません。
また、Polarsは既定でスレッドを多く使います。 小さな表を何度も集計するなら、スレッド数を絞る設定も、候補に入れてください。
向く人と向かない人:読み込みと集計を速くしたいならPolars、資産を生かすならpandas
結論から言うと、処理時間を縮めたい人はPolars、既存の資産を使い続けたい人はpandasです。 選ぶ理由は、三つに絞れます。
① 時間の差です。100万行のCSVを2回読む時間は、pandasが405196125ナノ秒、Polarsが23923875ナノ秒でした。
② 計算結果の一致です。読み込んだ表も集約の値も、二つの道具で食い違いませんでした。
③ 書き換えの手間です。pandasは入出力やグループ化の道具が広く、すでにあるコードをそのまま使えます。
次の図で、自分の使い方に合う道具をたどってください。
pandasとPolarsの選び方
- 1. 既存のpandasのコードや、pandas前提のライブラリを多く使っていますか?はい → まずpandasのままで使います。遅い処理が見つかった所から、Polarsを試してください。いいえ → 次は質問2です。
- 2. 数十万行以上のCSVを、繰り返し読み込んで集計しますか?はい → Polarsを選びます。手元の測定では、読み込みも集約も、全てのサイズで短く終わりました。いいえ → どちらでも足ります。使い慣れた方で始めてください。
代わりに見る道具もあります。 データベースの機能を使えば、表をディスクの中のまま集計することもできます。
ライセンスは、pandasがBSD、PolarsがMITです。 どちらも、オープンソースとして公開されています。
出典: pandas公式のGitHubページ、Polars公式のGitHubページ(2026年11月13日確認)
測定と比較の範囲
測ったのは、2026年11月13日に、macOS 27.2.1のApple M4 Pro(論理CPU12)で、CPythonで動かした記録です。 pandasは3.0.2、Polarsは1.36.1、入力は自作の人工CSV6列を1万行、10万行、100万行で用意しました。
pandasは既定のCエンジンの読み込み、Polarsは即時実行(eager)のAPIを使いました。 各条件で1バッチの準備運転をしたあと、5回ずつ計り、循環ガベージコレクションを止め、結果の解放まで時間に含めています。
取得、インポート、CSVの生成、検証、ハッシュの計算は、時間に入れていません。 Polarsはスレッド数が既定の12と、1の二通りで流しました。
今回の範囲に入れていないものは、次のとおりです。 遅延評価のLazyFrame、pyarrow、結合、メモリの使用量、ディスクの入出力、起動時間、GPU、実際の業務データです。
実際のデータでは、列の数や型、欠けた値の多さで、時間が変わります。 自分の表で測ってから、選んでください。
出典
- pandas公式のGitHubページ: https://github.com/pandas-dev/pandas
- Polars公式のGitHubページ: https://github.com/pola-rs/polars
変更履歴
- 2026年11月13日: 初版。同じ自作CSVで測った読み込み・集約結果・処理時間を掲載した。
