「ペリカン画像テスト卒業」の真相——AIは本当に物理空間を理解し始めたのか

8月2日、AI画像生成の世界で最も有名だった「定番の試験」に卒業宣言が出された。宣言したのは元TeslaのAIディレクターでOpenAI創設メンバーでもあるアンドレイ・カルパシー（Andrej Karpathy）氏だ。彼のX（旧Twitter）での投稿はこう締めくくられている。「我々は『自転車に乗るペリカンを描く』ことでAIをテストする時代を脱しつつある」。この投稿は24時間で274万回以上閲覧され、技術フォーラムHacker Newsでも400ポイント近くを獲得、300件以上のコメントが集まるその日一番の話題となった。

しかし、盛り上がるコメント欄でMorromistというユーザーが冷や水を浴びせた。「自転車に乗るペリカンを安定して描けるAIなんて、見たことがない。どんなに出来が良いモデルの画像でも、細部を観察すれば必ず破綻がある——両足が自転車の同じ側に並んでいたり、嘴（くちばし）が二つに分かれていたりするんだ」。

試験の卒業が宣言された一方で、テスト対象のペリカンは現場で破綻し続けている。一体ここで何が起きているのだろうか。

そもそも「ペリカン名物テスト」とは何だったのか

2024年末、エンジニアのサイモン・ウィリソン（Simon Willison）氏が「AIに自転車に乗るペリカンの画像を生成させる」という何気ない小テストを発案した。ジョークのようにはじまったこのプロンプトは、2年後にはAI業界で最も知られた非公式ベンチマークへと成長し、130本以上の技術記事で引き合いに出され、新作モデルがリリースされるたびに通過儀礼として試されてきた。

なぜこの問題はこれほど難しいのか。要素を解体するとその本質が見えてくる。「ペリカン（生き物の解剖学的構造）」、「自転車（機械構造の組み立て）」、そして「それに乗る（両者の空間的相互作用）」。この3要素が組み合わさった瞬間、AIは混乱に陥る。

AIの画像生成の本質は「見真似」である。AIはインターネット上の膨大な鳥の写真や自転車の写真を見て学習しているが、人類の歴史上「自転車に跨るペリカン」の写真などほとんど存在しない。モデルは学習データをそのままコピーすることができず、二つの異なる概念を空間法則に従ってその場で再構成しなければならない。そして、この「未知の構造の物理的再構成」こそが拡散モデル最大の弱点なのだ。見慣れた景色の模倣は得意だが、見覚えのないパーツを物理法則に沿って組み立てさせると破綻する。自転車に乗ったことがない人に「自転車に乗る人」を描かせるようなもので、人間と自転車自体の輪郭は描けても、ペダルやチェーン、ブレーキの正しい位置関係は勘に頼るしかない。

2年間続き、蓄積された「迷シーン」

この2年間、「ペリカンの解答用紙」には数々の迷シーンが記録されてきた。両足がフレームの片側に集まってペダルを踏む姿（現実なら一瞬で転倒する）、一つの胴体から生えた二つの嘴、スポークの消えた車輪、空中に浮遊する車体、そして何にも接続されていないハンドル。

図：主要モデルのデフォルトモードでの解答。ペリカンは自転車に乗っておらず、車体の上に漂っている。出典：simonwillison.net

より小型のモデルに至っては、抽象画のような白紙回答を提出した。二つの青い円、茶色の長方形、そして橙色の謎の物体をもって「自転車に乗るペリカン」と言い張るレベルだ。

図：超小型モデルによる同じお題への解答。ペリカンも自転車も原型を留めていない。出典：simonwillison.net

先月末、サイモン・ウィリソン氏が最新モデルで検証した際も、デフォルトモードでは相変わらずペリカンは空中に浮き、自転車のフレームはバラバラのままだった。「思考時間を増やす」設定を大きく引き上げて初めて、まともな1枚が生成された。コメント欄では「Claudeのペリカンは18ヶ月間目立った進歩が見られない」と指摘する声も上がった。

なぜ今「卒業」が宣言されたのか

カルパシー氏の意図は「AIが完璧になった」ということではなく、「この問題ではもはやモデル間の能力差を測定できなくなった」という点にある。

テストの評価において最も重要なのは「識別力（判別能）」である。クラス全員が30点の時はテストとして機能し、問題点をあぶり出せる。しかし全員が95点を取るようになると、そのテストは誰が真に優秀かを識別する能力を失う。ペリカンベンチマークはまさにこの段階に達した。トップモデルであれば、一見すると「それっぽく見える」ペリカンを描けるようになり、議論は「どこが間違っているか」から「どちらのペリカンが美しいか」という主観的な好みの領域へとシフトしてしまったのだ。

そこでカルパシー氏は新たな題材を提案した。『指輪物語』の冒頭テキストをAIに与え、100万思考トークン（約10ドルの計算コスト）を割り当てて、物語の冒頭シーン全体を3D技術で再現・散策可能な空間としてコード化させた。AIは2時間集中して処理を行い、5,500行のコードを書いてインタラクティブな3Dの「ホビット庄」を構築した。そこにはトム・ボンバディルの歌まで組み込まれていた。カルパシー氏は「うっかりすると『GTA ホビット庄』が『GTA VI』より先に発売されるかもしれない」と冗談を飛ばした。

図：同一モデル・同一プロンプトで思考強度を引き上げた結果。上のデフォルト画像とは別物のような仕上がり。出典：simonwillison.net

テストの満点と「本当に描ける」ことの決定的な違い

ここには見落としてはならない陥穠が存在する。「テストを卒業したこと」と「本当に描けるようになったこと」は全く別物である。

第一の理由は「試験対策効果（ベンチマーク過学習）」だ。2年間ペリカンプロンプトが話題になり続けた結果、インターネット上には無数の解答画像があふれ、AIの訓練データにそれらが直接組み込まれた可能性が高い。満点を取れたのは物理法則を理解したからではなく、この特定の問題の答えを暗記したからに過ぎないのかもしれない。これは単なる推測ではない。研究者が7つの主要モデルを使い、48種類の「動物＋乗り物」の組み合わせ（スケートボードに乗るフラミンゴ、船を操縦するサギなど）を個別にテストしたところ、ペリカンだけが他の動物より突出して上手に描けるわけではないことが判明した。モデルが本当に空間概念をマスターしたなら、なぜペリカンだけに効果が現れるのか。答えはシンプルで、この問題が「解き慣らされた」からだ。

第二の理由は、テストが公開され普及するにつれて、「全員の実力が向上したこと」と「全員が答えを丸暗記したこと」の区別がつかなくなる点だ。問題が広く知れ渡った時点で、それは「能力測定」から単なる「熟練度テスト」へと劣化する。カルパシー氏の新しいお題への移行は、ペリカンテストのデータセットが汚染され、もはや測定価値を失ったことを認めた形でもある。

第三の理由は、AI根本の弱点が未解決のままだという点だ。カルパシー氏自身も認めているように、AIが3Dシーンを構築する際、自身が生成した作品を人間のように「直接見る」ことはできず、スクリーンショットを撮って部分的に確認するしかなく、その確認自体もしばしば誤認識を起こす。自分が描いたものの矛盾を自ら認識できないことこそが、ペリカンが両足を片側に置いたまま走り出してしまう根本原因なのだ。

ユーザーにとって何を意味するのか

今後AIが生成した画像を見る際、特に複雑な機械構造や動作、複数の物体の相互作用が含まれる画像については、一歩踏み込んで細部を観察する価値がある。風景やポスター、イラストといった「雰囲気」を重視する領域では、AIはすでにきわめて信頼性が高い。しかし、「自転車に乗る人」「分解構造図」「製品の細部仕様」といった空間認識と物理的整合性が求められる領域では、依然として細部に深刻な破綻が隠れている。

2年前、ペリカンテストが登場した時、人々は「AIはこんな簡単なものすら描けないのか」と驚いた。2年が経ちテストが卒業を迎えた今、議論は「AIは本当に理解して描いているのか」へと進化した。このベンチマークが遺した最大の教訓は、スコア上は卒業できても、真の能力獲得には終わりがないという事実である。次の試験の監視員は、すでに教室のドアの前に立っている。

参考リンク：

• Andrej Karpathy氏のX投稿（ペリカンテストの引退と『指輪物語』3Dレンダリングデモ）
• Hacker News議論スレッド（「Karpathy’s Pelican」、約400ポイント、300件以上のコメント）
• Simon Willison氏：pelican-riding-a-bicycle タグページ（130本以上の関連記事）
• Simon Willison氏：Kimi K3と、ペリカンベンチマークから学べること
• Dylan Castillo氏：AIラボは密かに「ペリカン過学習（pelicanmaxxing）」を行っているのか