# Lingua・fastTextをMacで実行した短文言語判定

依頼: req-20261022-065 / 題材: lingua-fasttext-language-id-local-hikaku / 実行日: 2026-10-30（JST）。
判定: このMacで鍵・ログイン・有料API・買い物なしに実測可能で、取得後のローカルCPU判定を実行済み。

## 対象と固定入力

Lingua 2.2.0の公式macOS ARM64 / CPython 3.14 wheelを展開し、Python 3.14.10から直接読み込んだ。pipの追加依存は不要だった。fastText 0.9.2をApple Clang 17.0.0でnative buildしたCLIと公式lid.176.ftzを使用した。両バイナリはfileコマンドでarm64と確認済み。fastTextのPython wheelは使用していない。

OSはmacOS 27.2（26B123）、arm64。CPUの製品名・搭載RAMは実行環境でsysctlが拒否されたため未取得で、推定していない。GPUは使っていない。

自作の単一言語短文50件（日本語・英語・ドイツ語・フランス語・スペイン語が各10件）を、予測結果を見る前にfixtures.jsonとして固定した。正解は作者の意図した言語であり、母語話者による独立採点はしていない。挨拶・業務・日常文の類似する内容を各言語で用意した小標本で、一般コーパスからの無作為抽出ではない。入力と正解はfixtures.json、モデルに渡した正解ラベル抜きのUTF-8行一覧はinput.txt、各試行の結果はpredictions.csvとraw.jsonに収録した。

候補言語はLinguaが75言語（from_all_languages、高精度既定、preload指定）、fastTextが176言語（lid.176.ftzの全ラベル、top-k=1、threshold=0）。各実装から取得した全候補の言語コードをraw.jsonの各試行に保存した。候補を同じ5言語に制限した実験ではない。候補範囲・学習データ・モデル表現・呼び出し言語が異なるため、アルゴリズムだけの優劣とは解釈できない。

## 手順と時間の範囲

各ツール5試行。試行ごとに新しいプロセスを起動し、奇数回はLingua→fastText、偶数回はfastText→Linguaの順で順次実行した。各プロセス内でモデルを読み、同じ50件を1周ウォームアップしてから1周計時した。ウォームアップと計時の予測ラベル一致を確認し、全試行で予測結果は変わらなかった。5回は同じ50件の再実行であり、250件の独立した検体ではない。

Linguaはimportを別計時し、from_all_languages().with_preloaded_language_models().build()の呼び出しをload_nsとして計時した。fastTextはFastTextコンストラクタとloadModelをload_nsとして計時した。Linguaのモデルはネイティブ拡張に同梱されるため、load_secondsはこのAPI区間の値であり、全モデルが物理ディスクから読み終わった時間とは主張しない。importと初回50件のwarmupも個別記録し、遅延初期化・ページ読み込みの影響を隠していない。

判定時間は入力をメモリに読んだ後の50件のループ。LinguaのPython API呼び出し・ISOコードへの変換、fastTextのC++ predictLineと文字列ストリーム作成・ラベル取り出しを含む。ファイルの読み書き、出力JSON化、プロセス起動、ネットからの取得、ビルド、モデル読み込み、ウォームアップは含まない。ns整数を生値として残し、秒は10億で除した値。時計はPython perf_counter_ns / C++ steady_clock。C++計時用コードは公式ライブラリの同じオブジェクト群をリンクし、全試行で公式CLIのpredict出力50件との一致を確認した。CLI全体の所要時間とこの判定時間は異なる。

1件ずつ逐次呼び出し、Linguaの内部スレッドは既定。CPUの負荷・周波数・ファイルキャッシュは制御していない。取得・ビルド・事前確認の後の値であり、cold disk条件ではない。極めて短いfastTextの時間は他プロセスや計時誤差の影響を受け得る。

## 最終記録の結果

| 対象 | 正答数 / 総件数（全試行共通） | 50件判定の中央値（秒） | APIモデル初期化の中央値（秒） | 初回50件warmupの中央値（秒） |
|---|---|---|---|---|
| Lingua 2.2.0 / 75候補 | 49 / 50 | 0.022048000 | 0.000319917 | 0.036374541 |
| fastText 0.9.2 / lid.176.ftz / 176候補 | 49 / 50 | 0.000122000 | 0.006392250 | 0.000162500 |

唯一の誤判定はes04「Por favor, revise este documento.」。意図した言語はスペイン語、Linguaはit（イタリア語）、fastTextはpt（ポルトガル語）を返した。ほかの49件は意図した言語に一致した。言語間で語形の似る短文の曖昧さを含む結果であり、この標本以外での正答率は示さない。

最終記録の前に、同じ検体・計測区間で各5回の試行を行った。その後、台帳で各試行を一意に指定するrun_idと再取得用SHAチェックをスクリプトに加えて、最終記録用の5回を実行した。初回の全生値もpilot-raw.jsonに残した。初回の中央値はLingua 0.026583125秒、fastText 0.000126208秒で、正答数は同じだった。主結果はraw.jsonの最終5試行を使用し、最速回の選別はしていない。再実行で時間が変わることも、この2組の記録から分かる。

## 保存容量（論理バイト数）

| 内訳 | バイト |
|---|---:|
| Lingua取得wheel（圧縮済み） | 172494828 |
| Lingua展開パッケージ全体・モデル込み | 307477163 |
| 上記のうちネイティブ拡張・モデル込み | 307238448 |
| fastText取得ソースアーカイブ | 4036722 |
| fastText公式lid.176.ftzモデル | 938013 |
| fastText CLI実行ファイル | 328136 |
| fastText CLI＋モデル合計 | 1266149 |
| fastText計時用実行ファイル（計測器、製品容量と別） | 305872 |
| fastText src/のソースファイル合計（ビルド用） | 146133 |
| fastTextビルド中間オブジェクト合計（ビルド用） | 401752 |

Path.stat().st_sizeの合計。ディスク割当ブロック数・RAMではない。Linguaはwheel内の配布ファイルだけを数え、実行時に生成された__pycache__と.pycを除いた。各ファイルのバイト数・SHA256と取得URLはraw.jsonのartifactsにある。Linguaのモデルは.soに埋め込まれ、モデル部分と実行コードだけを正確に分割できないため、別モデルファイルの容量を捏造せず「モデル込み」と記録した。fastTextはモデルファイルと実行ファイルを別々に実測した。

圧縮取得物と展開後を混ぜて合計・比較していない。既存のPython本体、OS共有ライブラリ、Command Line Tools / SDK、キャッシュや環境全体は含まない。したがって上記だけでインストール全体の必要空き容量・全依存込みの容量優劣を断定できない。実モデル・wheel・実行バイナリ自体は成果物へ複製せず、取得先・測定内訳・ハッシュを残す。

## 外部通信と測っていないこと

通信は公開ソフトウェア・モデル・公式情報の取得時だけに使用し、短文は外部APIへ送っていない。計測ワーカーはローカルファイルとライブラリだけを使用する。ただしOSの通信遮断やパケットキャプチャによる監査は実施しておらず、セキュリティ認証の証拠ではない。秘密鍵ファイルは読んでいない。鍵・ログイン・課金のサービスを使っていない。

外部推論サービス、生成AIの回答品質、翻訳品質、文章の意味理解は測っていない。ここで評価した品質は、この自作50件に限る言語ラベルの一致数のみ。混在言語・ローマ字の日本語・1語だけの入力・ノイズ・未対応言語・業務実データ・大規模スループット・メモリ消費・消費電力・別のMacは未測定。fastTextのlid.176.binや他のLingua設定との比較も未実施。

## 再実行

macOS ARM64、Python 3.14、Apple Command Line Toolsのある環境で、作業リポジトリのルートから次を実行する。初回取得時だけネット接続が必要。独立した一時ディレクトリを使い、既存成果物・台帳は変更しない。

```sh
RUN_DIR="$(mktemp -d /private/tmp/lingua-fasttext-rerun.XXXXXX)"
python3 measurements/lingua-fasttext-local-2026-10-30-req065-a1-rerun.py.txt \
  --work "$RUN_DIR/work" \
  --fixtures measurements/lingua-fasttext-local-2026-10-30-req065-a1-fixtures.json \
  --cpp measurements/lingua-fasttext-local-2026-10-30-req065-a1-runner.cpp.txt \
  --output "$RUN_DIR/results" --prepare
```

同じ取得物で、ダウンロードをせずもう一度判定する場合は--prepareを外し、--workに同じworkを、--outputにまだ存在しない別のディレクトリを指定する。読み込みや判定の計時中にダウンロードは発生しない。生成される裸のraw.json等は、本成果物では上記prefixを付けて保存してある。

取得3ファイルのSHA256を固定し、変化した場合は停止する。wheelは公式PyPIのSHA256とも照合した。CLIの標準makeではistreamヘッダーが見つからなかったため、xcrunで取得したSDKのusr/include/c++/v1を-isystem指定する手順を再実行スクリプトに含めた。システム設定は変更していない。実際のCLIビルドは計測より前に完了しているため、最終build-log.txtのmake部分は既存ビルドの確認となる。C++計時器のリンクコマンドも記録済み。

再実行スクリプトの実行は実測済み。新しいディレクトリへの--prepare全手順の通し再実行は未実施（初回のダウンロード・展開・makeは個別のコマンドで実施）。SHAを固定しているため将来の公開配布物の変更・削除や異なるSDKでは停止し得る。時間やバイナリのハッシュが再実行で一致するとは保証しない。

manifest.jsonには、同梱した各ファイルのSHA256を記録する（manifest自身は自己参照から除く）。measurements/とpublic/measurements/の同名ファイルはすべて同じバイト。公開・デプロイ・X投稿・git commitは実施していない。記事・topics.json・検査コードは変更せず、台帳の対象1項目だけを登録した。正式な検査とcommitは親作業で実施する。

## 公式の確認先

- Linguaの配布・API: https://github.com/pemistahl/lingua-py （候補言語やpreload APIは、実際に取得した2.2.0の型定義と実行結果でも確認）。
- LinguaのCPython 3.14 / macOS ARM64 wheelと公開SHA256: https://pypi.org/project/lingua-language-detector/2.2.0/ 。
- fastTextのソースとビルド: https://github.com/facebookresearch/fastText/tree/v0.9.2 。
- 176言語モデル・UTF-8入力・モデルのライセンス（CC BY-SA 3.0）: https://fasttext.cc/docs/en/language-identification.html 。

これらは取得手順・モデル仕様を確認するための参照であり、上記の正答数・時間・容量は公式ベンチマークの転載ではなく、このMacで得た値である。
