アルゴリズム変更ゼロでTerminal-Benchが11点跳ね上がった理由:DeepSeek V4.1-Flash-1017の衝撃

アルゴリズム変更ゼロでTerminal-Benchが11点跳ね上がった理由:DeepSeek V4.1-Flash-1017の衝撃

DeepSeekオープンソースLLMAIエージェントKVキャッシュAI推論

データソース:DeepSeek 官方发布 + 技术报告 · HN

アルゴリズムのレシピはそのまま、端末操作ベンチマークが11点跳躍

2026年10月17日、DeepSeekはV4.1-Flash-1017の重みスナップショットを公開した。技術レポートにおいて、チームは新しいアルゴリズムを一切導入しておらず、最適化レシピは以前のままであると明言している。しかし、ターミナル環境での実機操作を評価するTerminal-Bench 4.0において、このマイナーリリースのスコアは31.2から42.3へと一気に急伸した。

11.1ポイントもの飛躍は、評価基準における立ち位置を大きく変えた。同一のベンチマーク群において、Claude Opus 5はTerminal-Bench 4.0、ProgramBench、NL2Repo、HLEの各項目で依然リードを保っているものの、1017スナップショットはDeepSWE v1.1、Automation-Bench、Agents’ Last Exam、Apex Benchの4項目でこれを逆転した。この11点のスコア向上には、アルゴリズム側の変更が一切関与していない。

DeepSeek公式はこのバージョンを「願望駆動プログラミング(Wish-Driven Coding)」と称し、エンドツーエンドの自律エンジニアリング構築を前面に押し出している。公開されたデモには、紫禁城(故宮)の3Dモデリング、Webベースのレーシングゲーム、Godotを用いたクラシックゲームの再現などが含まれる。前世代モデルと比較してタスク完了までの速度が大幅に向上し、出力トークン数も削減された。無駄な冗長出力を削ぎ落とすことで、複数ターンの対話における累積レイテンシが劇的に低減されている。

公式ベンチマーク比較表 図:公式ベンチマーク比較表。1017スナップショットと前回リリースとのスコア差分。出典:DeepSeek公式アナウンス

他のエージェント評価指標でも同様に明確な上昇トレンドが確認できる。Claude Codeテスト環境におけるDeepSWE v1.1の解決率は74.2%から77.0%へと改善した。ProgramBenchは20.3から29.1へ、Apex Bench v1.1は64.6から72.1へと伸長した。自動コーディングベンチマークの限界値は、着実に更新され続けている。

限界効用は環境パイプラインへ:合成タスクが支える長大な推論ステップ

技術レポートの第5.1節では、このスコア跳躍を支えたエンジニアリングの重点が明かされている。ポストトレーニング工程自体は、教師あり微調整(SFT)、強化学習(RL)、オンポリシー蒸留という標準的なワークフローを踏襲している。チームが計算リソースと予算を集中的に投じたのは、合成タスクの設計と対話的実行環境の構築であった。

レポートはひとつの明快な推論を提示している。現フェーズにおいて、データと環境パイプラインから得られる限界リターンは、アルゴリズムの刷新を著しく上回っているという点だ。従来の静的な人手アノテーションデータは、複雑で長期にわたるインタラクションにおいて急速に頭打ちを迎える。ターミナル操作では状態の巻き戻しやエラーハンドリングが頻発するため、プログラマティックに合成された環境の裏付けが不可欠となる。

チームは自動化パイプラインを構築し、多様で客観検証が可能な対話空間をプログラムによって量産した。合成されたタスク群には厳格な重複排除フィルタリングと難易度キャリブレーションが適用される。結果が検証可能なタスク設定によって強化学習に安定した報酬シグナルが供給され、ポリシー探索における報酬ハッキング(Reward Hacking)が効果的に抑制された。

公式性能・コスト曲線 図:公式の性能・コスト曲線。DeepSWE v1.1 Pass@1に対する単一タスクの計算コスト推移。出典:DeepSeek公式アナウンス

マルチモーダル指標も環境パイプラインの有効性を裏付けている。外部ツール呼び出しを含むChartographyテストにおいて、モデルのスコアは78.9から83.0へ上昇した。BabyVisionは89.6から92.5へ改善し、ZeroBench-mainも49.0から51.0へ前進した。リアルな実行環境との対話を通じて獲得されたエージェント能力が、クロスモーダルな知覚タスクへそのまま波及している。

1トークンあたり890バイトへの圧縮:KVキャッシュが敷くコストの下限

エージェント型AIの推論は、膨大なコンテキストを消費する。ツール呼び出しを何度も繰り返すことで対話履歴は肥大化し続け、真っ先に枯渇するのがGPUのメモリ帯域である。長大なコンテキストをデフォルトの前提にするためには、単位キャッシュコストを物理的限界まで引き下げる必要があった。

V4.1-Flashのアーキテクチャ設計は、ハードウェアレベルでこの要求に応えている。総パラメータ数552Bの因果エンコーダ・デコーダ構造を採用し、事前学習では45Tのマルチモーダルデータを処理した。デコード段階でアクティブ化されるのは16Bパラメータ、プリフィル段階に至ってはわずか8Bパラメータにとどまる。軽量化されたプリフィル処理によって、最初の1トークンが出力されるまでの遅延(TTFT)が大幅に圧縮された。

物理的なブレークスルーをもたらしたのは、CSA2アテンション圧縮技術とFP4キャッシュの融合である。クロスレイヤーでの再利用技術により、グローバルなKVキャッシュサイズは1トークンあたりわずか890バイトにまで圧縮された。このオーバーヘッドは前世代V4-Flashの4分の1、第1世代アーキテクチャと比較すると実に437分の1という水準である。

コンテキスト長に伴う単一トークンのデコードFLOPs変化 図:コンテキスト長が1Mトークンまで伸長した際の、単一トークンあたりのデコード計算量変化。出典:DeepSeek-V4.1-Flash技術レポート

スライディングウィンドウ・アテンションの境界リプレイ機構と組み合わせることで、永続化キャッシュの要求量は前世代の8分の1へと削減された。計算量曲線も驚くほどフラットである。コンテキスト長を4Kから1Mへと256倍に拡大しても、単一トークンのデコードに必要な浮動小数点演算量はわずか4分の1(25%)増加するにすぎない。長大コンテキストは高価な贅沢品から、当たり前の既定スペックへと変わった。

Jinjaテンプレートの廃止:プロンプト職人芸から自動化プロトコルへ

推論コストの急減は、上位の開発ツールチェーンにも直接的な刷新を迫っている。ホスティングプラットフォームOpenRouterにおいて、本モデルの入力価格は100万トークンあたり0.10ドルに設定された。出力価格は0.50ドルに据え置かれ、キャッシュ読み取りコストは0.002ドルという超低水準まで切り下げられている。

DeepSeekは同時に、自社開発のSearchおよびFetch APIへのアクセスを開放した。日々数億件の外部リクエストを支えるこの検索インフラは、1000回のエンドポイント呼び出しあたり0.75ドルで提供される。公式ツール群および主要なコーディングアシスタントにおいては、2026年10月31日まで無料提供が維持される。安価なリアルタイム検索により、エージェントは事前学習データの知識期限という呪縛から解き放たれた。

また本バージョンでは、旧来のJinjaテンプレートファイルが完全に廃止された。代わりに自己完結したPythonリファレンス実装が配布され、Pythonバインディングを備えたRust製コアライブラリが提供される。パーサーは複数ターンの対話、思考プロセス(CoT)、対話途中でのシステムメッセージ注入、テキスト・画像混在マークアップをネイティブに処理する。低レイヤーのライブラリがパースを代行することで、書式ズレによる誤動作のリスクが排除された。

推奨サンプリングハイパーパラメータにも明確な設計思想が表れている。温度パラメータ(temperature)と核サンプリング確率(Top-P)は共に1.0に設定され、最大出力シーケンス長は最低でも256Kトークン以上が要求される。100万トークンのウィンドウ全域において、モデルには長期的な制約条件への厳格な追従性が求められる。構造化通信ライブラリの導入は、マルチツール呼び出し環境においてテンプレート層が抱えていた脆弱性を根本から解消した。

実行環境が分水嶺となる時代:競争の焦点はエンジニアリングのスループットへ

1017スナップショットが投げかけたメッセージは極めて率直である。最適化アルゴリズム単体のリターンが逓減しつつある現在、検証可能な実行環境を大規模に整備し、データキャリブレーションパイプラインを堅牢に構築できれば、モデルベンチマークは2桁の跳躍を成し遂げられる。

そして890バイトのキャッシュは、実運用のための強固な基盤を敷いた。読み書きコストが無視できる水準に達して初めて、高頻度の試行錯誤を前提としたエージェント実装が現実味を帯びる。オープンソースエコシステムの勝敗の鍵は、すでに静的な重みパラメータの巧拙から、環境パイプラインとシステム連携の総合力へと移った。検証可能な対話世界をより低コストで継続的に供給できる者こそが、次の知能のフロンティアを切り拓くことになる。

参考リンク:

  • DeepSeek-V4.1-Flash-1017 公式アナウンスおよびオープンソースモデル重み
  • DeepSeek-V4.1-Flash 技術レポート:Pushing the Limits of KV Cache Compression
  • Terminal-Bench 4.0 および DeepSWE v1.1 ベンチマーク技術仕様
  • Hacker News コミュニティ技術ディスカッション