ローカル実測/データ処理

pandasとPolarsのローカル表データ処理を比較|同じCSVで測った読み込み・集約結果・処理時間

この記事の料金・仕様は時点で各社の公式ページを確認したものです。

一つの表データが二つの道具に分かれて読み込まれ、集計される様子の抽象イラスト

同じ表データを二つの道具に渡し、読み込みと集計にかかった時間を並べました。計算結果が一致したかと、スレッドの数で何が変わったかも載せています。

結論

大きめのCSVを何度も読み込んで集計し、待ち時間を短くしたい人は
Polarsが向いています。手元の測定では、試した全てのサイズで、読み込みも集約もPolarsのほうが短く終わりました。
ラベル付きの表を、柔軟に加工したい人や、既存の資産を使いたい人は
pandasが向いています。グループ化や入出力の道具がそろっていて、手元の測定でもPolarsと同じ計算結果を返しました。
数千行ほどの小さな表を、集計する人は
どちらも十分に速く、時間差の大きさより、書き慣れた道具を選ぶ価値のほうが大きくなります。Polarsを使うなら、スレッド数の設定も見てください。

100万行のCSVを2回読み込む時間は、pandasが405196125ナノ秒、Polarsが23923875ナノ秒でした。 予想と違ったのは、小さな表の集計では、Polarsを1スレッドに絞ったほうが短く終わったことです。

ナノ秒は、10億分の1秒を表す単位です。 読み終わると、自分の表の大きさに合わせて、どちらを選ぶかを数字で決められます。

読み込み:CSVを表にする時間は、全てのサイズでPolarsが短く終わりました

pandasもPolarsも、CSVを読み込んで、列のそろった表(DataFrame)に直せます。 今回は型の指定をせず、どちらも既定の設定で読み込みました。

pandasの公式ページは、速くて柔軟なデータ構造を持つ、Pythonのパッケージと説明しています。 読み書きの道具も、フラットファイルやExcel、データベース向けに用意されています。

Polarsは、Rustで書かれた分析用のエンジンです。 複数のスレッド(仕事を同時に進める作業員の数)を使い、並列に処理を進めます。

使った表は、日本語を含む文字列、整数、小数の6列を持つ、自作のCSVです。 行数は1万、10万、100万の3通りで、中身は両方の道具に同じものを渡しました。

次の表では、読み込みにかかった時間の1回目の値を見てください。 Polarsは、スレッドの数が既定の12のときの値です。

行数(1回の測定で読む回数)pandasPolars
1万行(50回分)111151833ナノ秒23843666ナノ秒
10万行(10回分)208991333ナノ秒14336709ナノ秒
100万行(2回分)405196125ナノ秒23923875ナノ秒

回数が違うので、行数をまたいだ比べ方はできません。 同じ行の中で、二つの道具を見比べてください。

Polarsを1スレッドに絞っても、差は残りました。 100万行の読み込みでは、pandasが400433291ナノ秒、Polarsが167433625ナノ秒です。

読み込みの速さは、並列の効果だけではないようです。 ただ、その理由まで切り分けるデータは、今回の記録にはありません。

出典: pandas公式のGitHubページ、Polars公式のGitHubページ(2026年11月13日確認)

集約結果:二つの道具は、同じ計算結果を返しました

集約は、地域やカテゴリごとに、合計や平均を出す処理です。 今回の測定記録では、全てのサイズで、読み込んだ表と集約の値が、pandasとPolarsで一致しました。

集約には2種類あります。 一つは地域の1列だけで分ける1キー集約、もう一つは地域とカテゴリの2列で分ける2キー集約です。

pandasは、分割・適用・結合のグループ化を、機能の一つとして持っています。 Polarsは、DataFrameのAPIとSQLのどちらでも、問い合わせを書けます。

結果が同じなら、選ぶ決め手は、書きやすさと時間になります。 結果の食い違いを心配して、道具を変えるのをためらう必要は、この範囲ではありませんでした。

出典: pandas公式のGitHubページ、Polars公式のGitHubページ(2026年11月13日確認)

処理時間:集約でもPolarsが短く、小さな表ではスレッド数が逆効果になりました

読み込み済みの表を集約する時間も、全てのサイズでPolarsが短く終わりました。 差の大きさは、行数や集約の種類で変わります。

次の表は、スレッドの数が既定の12のときの、1回目の値です。 集約の回数は、行数ごとに変えてあります。

行数と集約の種類(回数)pandasPolars
1万行・1キー(200回分)286988750ナノ秒85353166ナノ秒
10万行・1キー(50回分)219585583ナノ秒45591375ナノ秒
100万行・1キー(5回分)187071583ナノ秒37412459ナノ秒
1万行・2キー(200回分)349305458ナノ秒107935334ナノ秒
10万行・2キー(50回分)373539833ナノ秒64518459ナノ秒
100万行・2キー(5回分)317174542ナノ秒40533666ナノ秒

予想を外したのは、1万行の集約です。 Polarsを1スレッドにすると、1キーは44367542ナノ秒、2キーは54663458ナノ秒でした。

既定の12スレッドの値は、1キーが85353166ナノ秒、2キーが107935334ナノ秒です。 小さな表では、作業員を増やす手間が、時間の短縮を上回ったようです。

10万行になると、向きが変わります。 1キーは、1スレッドが81516792ナノ秒、既定の12スレッドが45591375ナノ秒です。

1スレッドでも、Polarsはpandasより短く終わりました。 100万行・2キーでは、pandasが288867959ナノ秒、Polarsが123256750ナノ秒です。

道具ごとの一言まとめ

pandas

ラベル付きの表を柔軟に加工できる、定番の道具です。手元の測定では、Polarsより時間が長くかかりました。

Polars

Rust製で、複数のコアを使って並列に進める分析エンジンです。手元の測定では、全てのサイズで時間が短く終わりました。

出典: 各社の公式ページ(2026年11月13日確認)

上のカードで、道具ごとの違いを一言で確かめられます。

出典: Polars公式のGitHubページ(2026年11月13日確認)

ここが落とし穴:測定ごとに回数が違う数字を、そのまま並べない

表の数字は、1回分ではなく、まとめて複数回流したときの合計の時間です。 行数ごとに流した回数が違うので、1万行の数字と100万行の数字を、直接は比べられません。

また、Polarsは既定でスレッドを多く使います。 小さな表を何度も集計するなら、スレッド数を絞る設定も、候補に入れてください。

向く人と向かない人:読み込みと集計を速くしたいならPolars、資産を生かすならpandas

結論から言うと、処理時間を縮めたい人はPolars、既存の資産を使い続けたい人はpandasです。 選ぶ理由は、三つに絞れます。

① 時間の差です。100万行のCSVを2回読む時間は、pandasが405196125ナノ秒、Polarsが23923875ナノ秒でした。

② 計算結果の一致です。読み込んだ表も集約の値も、二つの道具で食い違いませんでした。

③ 書き換えの手間です。pandasは入出力やグループ化の道具が広く、すでにあるコードをそのまま使えます。

次の図で、自分の使い方に合う道具をたどってください。

pandasとPolarsの選び方

  1. 1. 既存のpandasのコードや、pandas前提のライブラリを多く使っていますか?
    はい → まずpandasのままで使います。遅い処理が見つかった所から、Polarsを試してください。いいえ → 次は質問2です。
  2. 2. 数十万行以上のCSVを、繰り返し読み込んで集計しますか?
    はい → Polarsを選びます。手元の測定では、読み込みも集約も、全てのサイズで短く終わりました。いいえ → どちらでも足ります。使い慣れた方で始めてください。
出典: 各社の公式ページ(2026年11月13日確認)

代わりに見る道具もあります。 データベースの機能を使えば、表をディスクの中のまま集計することもできます。

ライセンスは、pandasがBSD、PolarsがMITです。 どちらも、オープンソースとして公開されています。

出典: pandas公式のGitHubページ、Polars公式のGitHubページ(2026年11月13日確認)

測定と比較の範囲

測ったのは、2026年11月13日に、macOS 27.2.1のApple M4 Pro(論理CPU12)で、CPythonで動かした記録です。 pandasは3.0.2、Polarsは1.36.1、入力は自作の人工CSV6列を1万行、10万行、100万行で用意しました。

pandasは既定のCエンジンの読み込み、Polarsは即時実行(eager)のAPIを使いました。 各条件で1バッチの準備運転をしたあと、5回ずつ計り、循環ガベージコレクションを止め、結果の解放まで時間に含めています。

取得、インポート、CSVの生成、検証、ハッシュの計算は、時間に入れていません。 Polarsはスレッド数が既定の12と、1の二通りで流しました。

今回の範囲に入れていないものは、次のとおりです。 遅延評価のLazyFrame、pyarrow、結合、メモリの使用量、ディスクの入出力、起動時間、GPU、実際の業務データです。

実際のデータでは、列の数や型、欠けた値の多さで、時間が変わります。 自分の表で測ってから、選んでください。

出典

変更履歴

  • 2026年11月13日: 初版。同じ自作CSVで測った読み込み・集約結果・処理時間を掲載した。

このサイトで測った元データ

更新履歴

  1. 初版。同じ自作CSVで測った読み込み・集約結果・処理時間を掲載した

    一次ソース

関連記事