# BeautifulSoupとparselの人工HTML文字抽出実測

依頼 req-20261022-065 / 題材 beautifulsoup-parsel-local-hikaku / 測定日 2026-11-21（Asia/Tokyo）。
実行の開始・終了UTC日時はraw.jsonのstarted_utc / ended_utcに保存した。

## 実測の可否

このMacのworkspace-write砂場で両方をCPUだけで実行できた。比較軸は成立する。
同じ人工HTMLのp要素を読み込み、順序付き文字列リストの一致と処理時間を直接測定した。
公開PyPIからのwheel取得だけ通信を使用し、HTML入力生成・計時・出力照合はローカルで行った。
外部ベンチマークの転載ではない。鍵・秘密鍵ファイル・ログイン・有料API・買い物を利用していない。
GPU・Metal・音声入出力・say・Bluetooth・砂場の権限拡張は使っていない。
公開・X投稿・git commit・デプロイは実行していない。public/measurements/は保存先である。

## 環境と固定版

macOS 27.2.1 arm64 / 論理CPU12 / GIL有効のCPython 3.14.10。
BeautifulSoup 4.14.3、parsel 1.10.0、共通のlxml 6.0.2（libxml2 2.14.6）を使用した。
他の依存はsoupsieve 2.8、typing_extensions 4.15.0、cssselect 1.3.0、jmespath 1.0.1、w3lib 2.3.1、packaging 25.0。
固定版同士の比較であり、最新版の比較や版の推奨ではない。ハードウェア製品名は推定していない。
公開wheelの固定URL・実サイズ・実SHA256・取得UTCはdependencies.jsonにある。
pipなしの一時venvへwheelを展開し、システム環境とキャッシュを変更しなかった。
GPUを使用する依存は無く、計時コードもGPU/Metalフレームワークをimport・初期化していない。

## 抽出APIと正解

```python
# BeautifulSoup: lxmlを明示し、get_textの既定設定を使う。
[p.get_text() for p in BeautifulSoup(html, 'lxml').find_all('p')]
# parsel: 各pの全子孫文字を1文字列にする。
[p.xpath('string(.)').get() for p in Selector(text=html, type='html').css('p')]
```

期待する契約は「文書順に各pの子孫文字データを連結し、文字参照を復号する。
strip・空白正規化・区切り挿入は行わず、brも改行に変換しない」。ブラウザでの見た目の抽出ではない。
両方のAPIを公式資料で確認し、固定版で実際に実行した。公式資料の掲載時間・ベンチマーク値は使わない。

replay.txtのmake_cases()で4文書を生成した。全文と独立に指定した期待文字列をinputs.jsonとraw.jsonのinputs[]に保存した。
期待値はどちらのパーサーからも作らず、HTMLテンプレートと対応する文字列リテラルを別々に記述した。

- plain100: ASCIIと日本語の単純なpを交互に100段落。
- rich100: 10テンプレートを10回繰り返して100段落。
- rich1000: 同じ10テンプレートを100回繰り返して1000段落。
- whitespace12: 空白1個、複数空白とタブ、複数改行と空白、空pの4テンプレートを3回繰り返して12段落。

richのテンプレートは日本語、入れ子b/em/span/a、amp/lt/gt/数値参照/nbsp、絵文字、br、コメント、
空p、文字に隣接する空白・タブ・改行を含む。p以外のdivとtitleも置き、pだけを抽出する。
不正HTML、script/style/template/preの挙動はこの入力に含めていない。

計時の前後で4文書×両ツールの出力全文を取得し、型、要素数、期待値、両者間の一致を照合した。
前後で出力が変わった場合・出力数や型が違った場合は例外終了する。
空白の相違は有効な観測結果として保存し、不一致を一致に見せる前処理はしない。
actual全文・一致件数・不一致件数・不一致箇所・出力SHA256はraw.jsonのcorrectness[]にある。

| 条件 | 段落数 | 両者の一致数 | BeautifulSoupと期待値の一致数 | parselと期待値の一致数 |
|---|---:|---:|---:|---:|
| plain100 | 100 | 100 | 100 | 100 |
| rich100 | 100 | 100 | 100 | 100 |
| rich1000 | 1000 | 1000 | 1000 | 1000 |
| whitespace12 | 12 | 6 | 6 | 12 |

通常の3文書では順序付き文字列リストが期待値も含め完全一致した。
whitespace12では6段落が異なった。例えば入力文字 `"  \t  "` はBeautifulSoupで `" "`、
parselでは元の `"  \t  "` となり、入力 `"\n  \n"` はBeautifulSoupで `"\n"`、parselで元の値となった。
これは選んだ既定APIでの空白保存の違いであり、任意のHTMLに対する一致率や品質順位ではない。
空白条件の速度は同一文字列出力を得た比較として扱えないため、以下では意味上の相違と併記する。

## 計時方法

4文書×3段階×2ツールを各9バッチ、合計216バッチ測定した。
各条件・段階・ツールに1バッチのwarmupを行い集計から除外した（24バッチ）。
1000段落は1バッチ10文書処理、それ以外は30文書処理。同じ文書を同じ回数処理した。
試行ごとに実行順を交互にし、文書と段階が変わると開始ツールも反転させた。実行順はorder_logに記録。

- parse_only: 同じHTMLのPython strから木を構築する。検索と文字抽出は含まない。
- extract_only: 計時外で一度読み込んだ木を再利用してp検索と全子孫文字抽出を行う。
- parse_extract: HTMLのstrから木を構築し、p検索と全子孫文字抽出までを行う。

perf_counter_ns()の整数nsを保存し、elapsed_ns / operations / 1,000,000で1文書処理当たりミリ秒に換算した。
表はそのバッチ平均時間9個の中央値であり、単発レイテンシーの中央値ではない。
Pythonループ、関数呼び出し、戻り値の参照カウント解放、計時中の自動循環GCを含む。
各バッチの直前に手動gc.collect()を計時外で実施。循環GCは停止しない。
バッチ後へ遅延した循環GCの最終回収はそのバッチ時間に含まれない。
依存取得・導入、import、入力生成、検証、ハッシュ、ファイルI/Oは含めない。空ループ分は差し引いていない。
段階ごとに独立して計時しており、各段階の中央値を足して全工程の中央値を作ってはいない。

| 条件 | 段階 | BeautifulSoup 中央値 ms/文書 | parsel 中央値 ms/文書 |
|---|---|---:|---:|
| plain100 | parse_only | 0.6512 | 0.0532 |
| plain100 | extract_only | 0.0702 | 0.9265 |
| plain100 | parse_extract | 0.7922 | 1.0164 |
| rich100 | parse_only | 1.3543 | 0.0876 |
| rich100 | extract_only | 0.0953 | 0.8810 |
| rich100 | parse_extract | 1.2449 | 0.8715 |
| rich1000 | parse_only | 10.5831 | 0.6842 |
| rich1000 | extract_only | 0.8160 | 8.0718 |
| rich1000 | parse_extract | 10.5860 | 8.2093 |
| whitespace12 | parse_only | 0.1222 | 0.0122 |
| whitespace12 | extract_only | 0.0099 | 0.0978 |
| whitespace12 | parse_extract | 0.1422 | 0.1092 |

今回、HTML読み込みはparsel、読み込み済みの木からの抽出はBeautifulSoupの中央値が小さかった。
全工程ではplain100はBeautifulSoup、他3条件はparselの中央値が小さかった。
whitespace12は上記のとおり出力内容が異なる。ツール全体の普遍的な速度順位を示す結果ではない。
とくにparsel側は各pごとにXPathを呼ぶ実装であり、別の等価な抽出方法への置換は評価していない。

## 範囲と限界

外部推論・AI出力品質は測っていない。人工HTMLに対する文字列の一致とローカルCPU処理時間に限った評価。
全Webページでの正確性、不正HTMLの修復、悪意あるHTMLの安全性、文字エンコーディング自動判定、
通信・ブラウザ描画・CSS可視性・JavaScript・ネットワーク待ち・メモリ消費・導入や起動時間は未評価。
別のパーサー、BeautifulSoupのhtml.parser/html5lib、stripやseparatorの変更、parselの他のクエリ、
XML、別Python・OS・CPU・版、並列処理も測っていない。
同一プロセスのwarm状態で同じstrを使う。CPUコア・周波数・温度・他プロセスの負荷は固定していない。
load averageの開始・終了値はenvironmentに保存。独立プロセス・別Macでの反復や統計的有意差は評価していない。
両側を同条件で実測したが、各実装のすべての最適化の比較ではない。

## 再実行

```sh
python3 measurements/beautifulsoup-parsel-local-2026-11-21-req065-a1-replay.txt --output-dir /tmp/beautifulsoup-parsel-new-run
```

存在しない出力ディレクトリを指定する。既存ディレクトリへの上書きは拒否する。
固定バイナリwheelに合わせ、GIL版CPython 3.14・macOS arm64で実行する。
replay.txtが9個の固定公開wheelを取得し、サイズ・SHA256を検証して一時venvで計測する。
curl -qで個人設定を読み込ませず、pipやログイン情報や鍵を使用しない。
venv・wheel・測定ステージは作業コピーの外の/tmpにtempfile.TemporaryDirectoryで置き、成功・失敗とも削除する。
HTML入力はメモリ内で生成。成功した測定の証拠として入力全文をJSONに保存する。
通信不調は例外終了し、新しい出力ディレクトリも台帳もblockedも作らない。
再実行スクリプトは成功時にraw.json・inputs.json・dependencies.json・run-log.txt・自分のTXTを新規出力する。
READMEと台帳は更新しない。時間は再測定時に変動する。入力生成・期待値・導入・計時のコードを省略していない。

## 保存と検算

raw.json、inputs.json、dependencies.json、run-log.txt、replay.txt、このREADMEの6ファイルを、
measurements/とpublic/measurements/へ同一バイトで新規保存した。
台帳はtopics.beautifulsoup-parsel-local-hikakuだけを追加。public側6ファイルの実SHA256を登録した。
各中央値のassertionはtrials[]の実測値からmedianで再計算し、rounding=4、tolerance=0.00005で検算する。
一致・不一致件数はidentity、rounding=0、tolerance=0で照合する。検査コード・条件は変更しない。
記事、topics.json、既存の測定物、blocked台帳は変更していない。
親と同じcheckFrontmatterDocumentsにdraft状態の台帳データを渡して検査する。

## API確認に使った公式資料

2026-11-21確認。取得した公式資料のAPI説明のみを使用し、外部の処理時間を実測値に混ぜていない。
英語の公式原文で確認した。日本語の解説記事の転載はしていない。

- [BeautifulSoup公式: get_text](https://www.crummy.com/software/BeautifulSoup/bs4/doc/#get-text)
- [BeautifulSoup公式: パーサー間の違い](https://www.crummy.com/software/BeautifulSoup/bs4/doc/#differences-between-parsers)
- [parsel公式リポジトリ](https://github.com/scrapy/parsel)
- [parsel公式: 文字抽出](https://parsel.readthedocs.io/en/latest/usage.html#extracting-text)
