2026年7月、オープンソースプロジェクト「TurboFieldfare」がHacker Newsで608ポイントを獲得し、200件を超える議論を巻き起こしました。その理由は至って明快です。260億（26B）パラメータの大型言語モデルを、メモリ8GBのMacノートPC上で、わずか約2GBのメモリ領域しか消費せずに動作させたからです。
260億パラメータ、2GBメモリ。この二つの数字が並ぶこと自体、従来の常識を覆すものです。
「巨大なモデル＝高価なVRAM」という常識の打破。 これが本記事を通じてお伝えしたい核心メッセージです。
一見すると不可能なタスク
まず背景を整理しましょう。Gemma 4はGoogle DeepMindが2026年初頭に公開したオープンモデルファミリーです。その中に「Gemma 4 26B-A4B」という、混合エキスパート構造（MoE：Mixture-of-Experts）を採用したモデルがあります。このモデルは4倍の量子化圧縮を行っても、なお14GBのストレージ容量を必要とします。
しかし、一般的なユーザーのMacノートPCはメモリが8GB程度であり、OS自体が3〜4GBを消費するため、大容量モデルに割り当てられるメモリはきわめて限られています。
従来の推論ツール（llama.cppやMLXなど）は、モデル全体をメモリ（RAM/VRAM）に一括読み込みしてから実行します。14GBのモデルを8GBの空きメモリで読み込むことは不可能です。オペレーティングシステムが全メモリの占有を許可しないため、このアプローチは最初から行き詰まっていました。
そこで問いが生まれます。「モデル全体をメモリに乗せずに推論を実行する方法はあるのか？」
TurboFieldfareの制作者であるiOS/MetalエンジニアのAndrey Mikhaylov氏は、この問いに見事な解答を提示しました。彼は数週間で103回におよぶ比較実験を行い、SwiftとAppleのMetalグラフィックスフレームワークを用いて、推論エンジンをゼロから完全自作しました。その結果、M2 MacBook Airで毎秒5〜6トークン、最新のM5 Proでは毎秒31〜35トークンの生成速度を達成しました。
単に動くだけでなく、実用的な速度を出せる点に価値があります。概念実証の論文ではなく、ダウンロードしてすぐ試せる実用的なエンジニアリング成果です。
MoEモデルの隠れた強み：ストリーミング読み込みとの抜群の相性
この仕組みを理解するには、混合エキスパート構造（MoE）の特徴を知る必要があります。
従来の全結合型LLMは「ゼネラリスト」です。1トークンを生成するたびに、モデルに含まれるすべてのパラメータを計算に使用します。これは、会社中の全社員がすべての案件に関与しているようなもので、極めて効率が悪い構造です。
一方、MoEモデルは128の専門部署を持つ大企業のように機能します。新しいタスクが入ると、「ルーター」と呼ばれるスケジューラーが内容を分析し、最も適した8つの部署（エキスパート）だけを起動します。残りの120の部署は休止状態のままです。
全260億パラメータのうち、一度の計算で実際にアクティブになるのは約38億パラメータに過ぎません。「26B-A4B」の「A4B」とは「Active 4 Billion（アクティブな約40億パラメータ）」を意味しています。
この構造的特徴こそが、TurboFieldfareの基本戦略を決定づけました。「毎回使うのが全体の10%未満なら、なぜ残り90%の重みを常にメモリ上に常駐させておく必要があるのか？」
14GBのモデルを2GBに収める3つの核心的最適化
従来の推論フレームワークは、128個すべてのエキスパートの重みをメモリにロードして待機させていました。働いていない社員120人のデスクまでフロアに常時用意するようなものです。
TurboFieldfareのアプローチは極めてシンプルです。「働く者だけをデスクに呼び出す」。
第1の策：4倍圧縮によるデータ軽量化
モデルの重みデータには、多くの数値的冗長性が含まれています。4K超高画質写真を1080Pに圧縮しても一般的な人間の目には違いがほとんど分からないのと同様です。
TurboFieldfareは4ビット量子化技術を採用し、パラメータ精度を16ビットから4ビットへと削ることで、サイズを4分の1に縮小しました。14GBというファイルサイズはここから来ています。ルーター部分にはルーティング精度を保つため8ビット量子化を残し、主要なエキスパート重みはすべて4ビット化することで、出力品質の低下を最小限に抑えています。
第2の策：SSDストリーミングとメモリの役割分担
これこそが本プロジェクトの最大の技術的ハイライトです。
TurboFieldfareは、全エキスパートで共有される1.35GBの計算層とKVキャッシュのみをメモリに常駐させ、128個のエキスパートの重み本体はすべてSSD上に配置します。トークン生成の各ステップで、SSDからその時必要な8個のエキスパートだけをダイレクトに読み込みます。
しかし物理的な制約が存在します。SSDのアクセスレイテンシはミリ秒単位であり、ナノ秒単位のメモリに比べて数万倍遅いという点です。無対策で毎回SSDの読み込みを同期的に待っていては、生成スピードが実用にならないほど遅くなってしまいます。
第3の策：インテリジェントキャッシュと時間のオーバーラップ処理
制作者は、この速度差を解消するために3層の最適化を設計しました。
エキスパート・キャッシュ。 毎回8個のエキスパートが必要になりますが、連続するトークン生成では同一のエキスパートが再利用される傾向があります。TurboFieldfareは各層に16枠のキャッシュを確保し、LFU（Least Frequently Used）アルゴリズムで保持するエキスパートを管理します。キャッシュにヒットしたエキスパートはSSDからの再読み込みが不要になります。実験データによると、このキャッシュによりエキスパートの平均読み込み時間は1トークンあたり166ミリ秒から88ミリ秒へと大幅に短縮されました。
並列プレリード（pread）。 OSにページ管理を委ねるオンデマンド・ページング（mmap）はコード上エレガントに見えますが、実測ではコールドスタート時に0.5 tok/sまで低下する破滅的な結果となりました。そこで著者は明示的な並列 pread システムコールに変更し、アクティブに並行読み込みを行うことで速度を3.97 tok/sまで向上させました。この選択は理論的推測ではなく、実測データに基づいています。
時間オーバーラップ（パイプライン化）。 SSDがエキスパートデータを読み込んでいる間、GPUを遊ばせることなく、モデルの共有層の計算を進めさせます。共有層の計算が終わる頃には、SSDからのデータ読み込みも完了しています。この精巧なスケジューリングにより、読み込み待ち時間がほぼ完全に隠蔽されます。また、1個ずつ非同期で処理するよりも、まとめて読み込んでから一括計算する「粗粒度オーバーラップ」の方が安定性と効率に優れていることが判明しました。
103回の実験と、その裏にあった数多くの失敗
実際のエンジニアリングは論文執筆とは異なります。論文は成功したアプローチのみを記述しますが、エンジニアリングでは数多くの失敗した道筋を愚直に検証しなければなりません。
TurboFieldfareのドキュメントには、103回に及ぶ実験の詳細な記録が残されており、制作者は一見有望に見えて実は効果がなかった試みを包み隠さず公開しています。
メモリマッピング（mmap）のエレガントな誘惑。 OSにページ読み込みを任せる設計は最小限のコードで済みますが、コールドスタート時の速度は0.5 tok/sとフリーズに近い状態でした。
SIMD協力カーネル。 複数スレッドで1つのエキスパートを協調処理する構造はきれいに見えましたが、実際にはGPU計算時間が230ミリ秒から527ミリ秒へ倍増し、採用が見送られました。
階層間エキスパート予測読み込み。 ある層でエキスパートAとBが選ばれた際、次の層の必要エキスパートを予知できるか検証しましたが、隣接する層間のエキスパート選択には相関性がほとんどなく、予測的中率はわずか7%に留まりました。
細粒度非同期処理。 エキスパートの読み込み完了ごとに即座に計算を開始する手法は、同期オーバーヘッドにより全体の処理をかえって遅くし、出力の再現性にも問題が生じたため、シンプルな粗粒度アプローチに敗れました。
これらの失敗から得られた知見は、成功と同等の価値を持ちます。それらはシンプルな真理を物語っています。**「真に価値のある最適化とは、実測によって証明されたものだけである」**ということです。
なぜこれが重要なのか？
TurboFieldfareが証明した最大の意義は、以下の1点に集約されます。
「大言語モデルの推論に、必ずしも高価なGPUは必要ない」
SSDストリーミング、スマートキャッシュ、ハードウェアに最適化したカーネル設計という徹底したソフトウェア最適化により、一般ユーザーが所有するノートPCでもAI推論を十分に実行できることが示されました。
現在、ハイエンドGPUは一部の巨大企業に独占され、価格の高騰と供給不足が続いています。TurboFieldfareのようなプロジェクトは、「高額なハードウェアに頼るのではなく、優れたソフトウェア設計によって物理的制約を書き換える」という新たな選択肢を提示しています。
これは1990年代のPCゲーム業界を彷彿とさせます。当時、3Dグラフィックスの実行にはプロ仕様のワークステーションが必要でしたが、コンシューマー向け3Dアクセラレータ（グラフィックボード）の登場により、一般のPCでも3Dゲームを楽しめるようになりました。TurboFieldfareはその歴史的プロセスの初期段階であり、「AI推論はハードウェアの制約に縛られる必要はない」というメッセージを業界全体に発信しています。
現在、本プロジェクトはGitHubで900以上のスターを獲得し、コミュニティからベンチマークデータが集まりつつあります。著者は今後、iPhoneやiPad向けのバージョンも計画しており、モバイル端末上でローカルLLMを動かす未来を目指しています。
近い将来、スマートフォンやイヤホンの中に、数百億パラメータ規模でありながら数十MBのメモリで動作するAIアシスタントが搭載される日が来るかもしれません。TurboFieldfareはその道筋を照らす確かな一歩なのです。
参考リンク：
- GitHub：TurboFieldfare リポジトリ
- HN 議論（item?id=49098510）
- Gemma 4 テクニカルレポート
- Maarten Grootendorst による Gemma 4 可視化ガイド
- TurboFieldfare システム設計ドキュメント
- TurboFieldfare 最適化実験記録（103回の実験）
