2026年9月8日、Hacker Newsのトップページに技術の常識を覆す検証結果が掲載された。月之暗面（Moonshot AI）がオープンソースとして公開した2.8兆パラメータの巨大モデル「Kimi K3」を、Apple M5 Max搭載のMacBook Pro上で完全にオフライン動作させたという報告だ。このノートPCの統合メモリはわずか128GB。2.8兆パラメータというモデルサイズは、一般的なパーソナルコンピュータの物理的上限を遥かに超越している。オープンソースプロジェクト「deltafin」は、4台の高速外付けNVMe SSDを並行連携させることで、蟻が巨象を動かすようなこの無謀とも思える工学実験を成し遂げた。
「数兆規模の巨大モデルが市販のノートPCで動く」という事実は、AI開発におけるコストと運用の常識を一変させた。過去5年間、最先端のフロンティアモデルは巨大データセンターのクラウド内に隔離されたサービスであり、一般の開発者はAPI経由で利用するしかなかった。いまや、モデルウェイトのオープン化とコミュニティ主導のハードウェアハックにより、「どれほどのハードウェアがあればAIと呼べるのか」という問いが、ユーザーの手元にあるローカルディスクの上に突きつけられたのだ。だが歓喜に沸く前に、ベンチマークが冷徹な物理的限界を突きつける。4台のSSDを外付けしたこのMacBookが叩き出した生成速度は、わずか毎秒1語（トークン）にとどまる。
128GBのメモリには収まらない2.8兆のパラメータ
兆単位のモデルをローカル環境で動かそうとしたとき、最初に立ちはだかる壁が物理メモリ容量である。パラメータとはニューラルネットワーク内部の無数の調整ノブに相当する。2.8兆個ものノブはモデルの知的能力の上限を決めると同時に、その膨大なファイルサイズを決定づける。一般的な量子化圧縮を施したとしても、2.8兆パラメータのモデルを丸ごとロードするには約1TB級のメモリが必要であり、極限まで圧縮したとしても数百GBの容量を消費する。現在市場に出回っている最上位仕様のMacBook Proであっても、統合メモリの最大容量は128GBにすぎない。
技術的な理想は、ここで厳格な物理的制約に衝突する。従来の実行方式では、モデル全体をメモリ内に一度に展開しなければならない。128GBのメモリでは、Kimi K3の5分の1すら収めることができないのだ。メモリ不足を補う標準的な手法としてストレージを仮想メモリ（スワップ）として使うアプローチがあるが、SSDのアクセス速度は物理メモリより数百倍も遅い。推論処理の最中にプロセッサが頻繁にディスクへデータを探しに行けば、システム全体の演算速度は瞬時に崩壊する。
従来の密結合（Dense）アーキテクチャのモデルをSSD上で動かそうとすれば、たった1トークンを生成するたびに数千GBもの重みデータをすべて舐めるように読み出さなければならない。このような手法はパーソナルコンピュータでは到底成り立たない。この厚い壁を突破するには、必要な重みだけをその都度オンデマンドに読み込む新しい仕組みが不可欠だった。
4台のSSDが担う16のエキスパートのローテーション
deltafinプロジェクトが成立した最大の要因は、Kimi K3が採用しているMoE（Mixture of Experts：混合エキスパート）アーキテクチャと、緻密に計算されたディスクスライシング技術の融合にある。K3モデルの内部には16個のエキスパートモジュールが存在し、それぞれ異なるタスクの処理を担当している。単語を1つ生成する際、モデルはすべてのエキスパートを呼び出す必要はなく、状況に最も適合する少数のエキスパートだけを選択的にアクティブ化する。この構造は、必要なデータだけを順次ストリーミング読み出しする処理と極めて相性が良い。
開発者はこの巨大なモデルをレイヤーごと、エキスパートごとに細かくスライスし、それらを4台の外付けNVMe SSDへと分散配置した。データベースの世界では一般的なストライピングやシャーディングの手法だが、個人環境でのLLM推論に応用するのは極めて大胆で硬派な試みだ。4台のSSDから同時に並行読み出しを行うことで、膨大なI/O帯域の負荷を効果的に分散させている。
推論処理は、極限まで精度を高めたスケジューリングの駆け引きへと昇華された。その中核を担うのが、K3_PILOTと呼ばれる投機的プリフェッチ機構だ。プログラムは1つのトークンを処理するたびに、次のレイヤーでどのエキスパートが必要とされるかを先読みする。システムは即座にsplit-homed expert reads（分割並行読み込み）を実行し、必要な重みをSSDから統合メモリへと吸い上げる。計算が終わったエキスパートの領域は即座に解放され、次に控えるエキスパートのためにメモリの空きを確保する。さらにディスクの読み出し遅延に対抗するため、プロジェクトではエキスパートの常駐頻度を追跡する仕組みを導入した。expert residency heat histogramと呼ばれるこの機構は、推論ラウンド全体を通じて各エキスパートが呼び出された頻度を記録する。最も頻繁に使用される汎用エキスパートは128GBの物理メモリ内に常駐させ、呼び出し頻度の低い専門エキスパートだけをSSD側で待機させる。この動と静を組み合わせた設計により、ディスクのシークや読み込みに伴うボトルネックの大半が巧みに覆い隠されている。
図：Kimi K3公式モデルカードのビジュアル。提供：HuggingFace moonshotai/Kimi-K3
4台の高速SSDを並行稼働させることで、オンデマンド読み出しに求められる巨大なスループットを確保する。モデルの構造特性に合わせた精密なデータ転送制御により、128GBという限られたメモリ空間の隙間に、2.8兆パラメータモデルが生存できる細い活路を切り拓いたのだ。
毎秒1トークン：低速な思考が描き出す実用性の境界線
象を冷蔵庫に押し込む代償として、推論速度は大きく犠牲となった。実測データによれば、このMacBook環境におけるコールドスタート後の生成速度の中央値は、安定して0.92〜1.13 token/sの間に収まっている。軽量なQwen3-0.6Bを投機的デコーダーとして組み合わせて予測を支援させた場合でも、速度はおよそ1 token/s前後を推移するにすぎない。512トークンのプロンプトを入力した場合の生成速度は約1.4 token/sであり、出力されるテキストは投機的デコードを用いない通常モードと完全にバイト単位で一致している。
| 利用シナリオと構成 | 典型的な生成速度 (token/s) | 主な用途 |
|---|---|---|
| クラウド GPT-4 / Kimi API | 20 - 50+ | リアルタイム対話、Webブラウジング支援 |
| ローカル動作の8B級小型モデル | 30 - 60+ | ターミナルオフラインアシスタント、リアルタイムコード補完 |
| Kimi K3 + MacBook + 4台のSSD | 0.92 - 1.13 | オフラインコード推論、長文論理ドラフト作成 |
| 人間の平均読書速度 | 4 - 8 | 視覚的なテキストインプット |
人間が画面上のテキストを普通に読む速度は、概ね毎秒4〜8ワード程度とされる。画面の前でKimi K3の応答を待っていると、文字が現れるスピードは人間が黙読するペースよりもはるかに遅い。データセンターのクラウドインフラ上で動く最新モデルが毎秒数十トークンを軽々と出力し、流れるような対話を実現しているのとは対照的だ。
図：deltafinプロジェクトの実測データ：入力長に応じたデコード速度。提供：GitHub argonautlabsai/deltafin
通常の対話型AIと比べて2桁も遅いこの実測結果は、Hacker News上で激しい議論を呼んだ。一部の開発者はこれを「単なる技術的ショーカー」にすぎず、人間とのインタラクティブな利用においては実用性がないと切り捨てた。だが、リアルタイム性を求められないバックグラウンド処理の観点から見れば、低速であることは致命傷にはならない。複雑な大規模コードベースの精査を一晩かけて裏で実行させたり、完全なサンドボックス環境内で自律型エージェントに論理検証を行わせたりする用途であれば、毎秒1トークンの速度でも最高峰の推論品質を得られる価値は極めて大きい。この実験は明確な境界線を引いた。このシステムは人間の気軽な話し相手にはなれないが、ローカル環境でじっくりと深思熟考を担うタフな労働力としては十分に機能する。
大規模モデルが手元のローカルファイルになる日
これまで数年間、人工知能の発展は巨大なデータセンターと莫大なクラウド計算リソースに縛られてきた。個人の開発者や一般ユーザーは大手テック企業から計算リソースをレンタルするしかなく、機密データもクラウドに送信せざるを得なかった。deltafinがMacBook上で成し遂げたKimi K3の動作実証は、それとはまったく異なる可能性を提示している。モデルはもはや遠く離れたクラウド上の不透明なサービスではなく、自分自身のローカルディスクに保存されたファイルデータの集まりになったのだ。
2.8兆パラメータの巨大モデルが、ローカルファイルとして個人のラップトップの中に存在する。毎秒1語という超低速な思考能力しか発揮できないとしても、それによってデータのプライバシーとオフラインでの自律稼働は物理レイヤーで完全に保証される。企業は社内ネットワークを完全に遮断した状態で、極秘情報を含む推論タスクを外部からの傍受リスクなく安全に実行できる。開発者は電波の届かない環境でも、トップクラスの知能にシステム全体のアーキテクチャ設計を検討させ、疲れを知らないローカルアシスタントとして酷使することができる。この利用形態は、対話ウィンドウでのチャットではなく、長時間をかけてタスクを完遂するバックグラウンドプロセスへとシフトしていく。
Kimi K3のモデルウェイト公開とオープンコミュニティの創意工夫は、重要な概念実証を完遂した。この実験は、数兆規模の巨大モデルと個人の手元環境を隔てていた絶対的な壁を打ち破った。2.8兆パラメータのMoEモデルが端末上でオフライン動作したという事実は、最先端AIの焦点がクラウド上のトレーニング競争から、手元のローカル環境における推論と配布へと移行し始めたことを象徴している。
参考リンク：
- HN 討論 (item?id=49616257)
- GitHub argonautlabsai/deltafin
- HuggingFace moonshotai/Kimi-K3
