El examen del pelícano en bicicleta se retira: ¿realmente comprende la IA la física espacial?
El 2 de agosto, uno de los exámenes informales más famosos en el mundo de la generación de imágenes por IA fue declarado oficialmente listo para el retiro. La declaración vino de Andrej Karpathy, exdirector de IA en Tesla y miembro fundador de OpenAI. Sus palabras en X fueron contundentes: “Estamos empezando a superar la era de evaluar la IA pidiéndole que dibuje ‘un pelícano montando en bicicleta’.” La publicación superó los 2,74 millones de visualizaciones en 24 horas y acumuló cerca de 400 puntos y más de 300 comentarios en Hacker News, convirtiéndose en el tema estrella de la jornada.
Sin embargo, en medio del entusiasmo, el usuario Morromist aportó una dosis de realidad: “No he visto a ninguna IA capaz de dibujar con consistencia a un pelícano en bicicleta. Incluso en los mejores resultados, si miras de cerca, siempre hay fallos: las dos patas al mismo lado de la bici o dos picos en la misma cabeza.”
El examen se da por graduado, pero en la práctica los pelícanos siguen descarrilando. ¿Qué está pasando exactamente?
El origen de la “prueba del pelícano”
A finales de 2024, el programador Simon Willison inventó casi por casualidad una prueba sencilla: pedir a la IA que generara la imagen de “un pelícano montando en bicicleta”. Lo que comenzó casi como una broma se transformó a lo largo de dos años en el benchmark informal más extendido del sector: citado en más de 130 artículos y convertido en la prueba del algodón para cada nuevo modelo de visión que salía al mercado.
¿Por qué resulta tan difícil? Desglosar la petición revela el dilema espacial: un pelícano (anatomía animal), una bicicleta (ensamblaje mecánico) y la acción de “montarla” (relación espacial entre ambos). Al juntar los tres elementos, los modelos de difusión colapsan.
La IA no entiende de física; funciona por reconocimiento de patrones. Ha procesado millones de fotos de aves y de bicicletas en internet, pero la historia de la humanidad apenas cuenta con fotos reales de pelícanos pedaleando. El modelo no puede copiar directamente; debe sintetizar conceptos conocidos bajo reglas espaciales sobre la marcha. Y la síntesis de interacciones mecánicas inéditas es precisamente el talón de Aquiles de la IA generativa. Es excelente imitando escenas familiares, pero falla al ensamblar piezas según restricciones físicas. Es como pedirle a alguien que jamás ha montado en bici que dibuje a un ciclista: la persona y la bici se verán bien por separado, pero la posición de los pedales, la cadena y el manillar será puro juego de adivinanza.
Dos años de pifias memorables
En estos dos años, la colección de errores del pelícano ha dejado momentos antológicos: patas pedaleando en el mismo lado del cuadro (una postura con la que nadie aguantaría tres segundos en pie), pelícanos con dos picos, ruedas sin radios, cuadros flotando en el aire y manillares conectados a la nada.
Imagen: Resultado de un modelo de primera línea en modo por defecto. El pelícano no monta la bici, flota sobre ella. Fuente: simonwillison.net
Los modelos más pequeños entregaban directamente abstracciones dignas de un lienzo en blanco: dos círculos azules, un rectángulo marrón y una masa naranja informe bastaban para dar por cumplido el encargo.
Imagen: Respuesta de un modelo ultracompacto a la misma prueba, donde resulta imposible distinguir al ave o al vehículo. Fuente: simonwillison.net
A finales del mes pasado, Simon Willison volvió a probar los modelos más recientes: en modo estándar, los pelícanos seguían flotando y las bicicletas continuaban desarmadas. Solo al activar el modo de “pensamiento extendido” (razonamiento profundo), la IA fue capaz de entregar una imagen coherente. Diversos comentaristas señalaron que los pelícanos de Claude no han mostrado avances sustanciales en 18 meses.
¿Por qué declarar la “graduación” ahora?
La postura de Karpathy no implica que el problema esté resuelto, sino que la prueba ha perdido su capacidad de discriminación.
En evaluación de modelos, el valor de un examen radica en su poder para diferenciar el nivel de los candidatos. Cuando toda la clase saca un 3, el examen revela carencias; cuando todos sacan un 9.5, la prueba deja de ser útil porque ya no distingue quién es superior. El benchmark del pelícano ha alcanzado ese punto de saturación: los principales modelos ya generan imágenes que “a primera vista” parecen correctas. La discusión ha pasado de “quién se equivoca” a “qué pelícano es más estético”, convirtiendo una prueba de capacidad técnica en un debate de apreciación artística.
Por ello, Karpathy propuso un nuevo reto: entregar a la IA el párrafo inicial de El Señor de los Anillos, asignarle 1 millón de tokens de pensamiento (unos 10 dólares en cómputo) y pedirle que programe desde cero una escena 3D interactiva. Tras 2 horas de proceso y 5.500 líneas de código, la IA construyó un escenario 3D de Hobbiton totalmente explorable, incluyendo la música de Tom Bombadil. Karpathy bromeó: “Cuidado, ‘GTA Hobbiton’ podría salir al mercado antes que GTA VI.”
Imagen: Mismo modelo y mismo prompt tras aumentar la intensidad de razonamiento. El salto cualitativo respecto a la imagen superior es evidente. Fuente: simonwillison.net
Aprobar el examen no equivale a saber dibujar
Hay una trampa sutil en la que es fácil caer: dar por superado un examen no significa haber dominado la habilidad.
En primer lugar, existe el efecto de “contaminación del benchmark”. Tras dos años de viralidad del pelícano en internet, los datos de entrenamiento de los modelos se han llenado de ejemplos y respuestas de este caso específico. Aprobar el examen puede ser consecuencia de la memorización y no de una verdadera comprensión espacial. No es una mera especulación: un estudio probó 7 modelos destacados con 48 combinaciones distintas de “animal + vehículo” (un flamenco en monopatín, una garza en barca, etc.) y concluyó que los pelícanos no se dibujaban mejor que el resto. Si la IA hubiera comprendido las relaciones espaciales, ¿por qué solo resolvería bien el caso del pelícano? La respuesta apunta a un exceso de ajuste (overfitting) sobre ese prompt concreto.
En segundo lugar, cuando una prueba se vuelve pública y masiva, resulta imposible distinguir en la puntuación entre “mejora real” y “memorización de la plantilla”. El examen pasa de medir capacidad a medir familiaridad. El cambio de prueba planteado por Karpathy es una admisión implícita de que la prueba del pelícano está contaminada.
En tercer lugar, los fallos estructurales de la IA persisten. El propio Karpathy admitió que, al generar escenarios 3D, la IA no puede “ver” directamente su propia creación: depende de capturas de pantalla periódicas que a menudo interpreta mal. Esta incapacidad para autoinspeccionar visualmente lo que produce es la causa raíz de los fallos del pelícano: la IA carece del bucle de retroalimentación que le advierta que “dos patas no deben ir en el mismo pedal”.
Qué significa esto para los usuarios
La próxima vez que examine una imagen generada por IA —especialmente si involucra mecanismos, acciones coordinadas o interacción entre varios objetos— conviene mirar con lupa. Para paisajes, ilustraciones y carteles conceptuales, la IA es madura y potente. Sin embargo, para esquemas técnicos, despieces mecánicos o escenas que exijan una rigurosa noción del espacio, los fallos siguen escondidos a plena vista.
Hace dos años, cuando surgió el reto del pelícano, causaba sorpresa que la IA no pudiera resolver algo tan simple. Hoy, al graduar la prueba, el debate se centra en si realmente comprende lo que dibuja. El verdadero legado de esta etapa es recordarnos que las notas de un examen pueden graduarse, pero la verdadera capacidad técnica exige una evaluación continua. El siguiente examinador ya está esperando en la puerta.
Enlaces de referencia:
- Publicación de Karpathy en X (anuncio del retiro del test y demostración 3D de El Señor de los Anillos)
- Hilo de discusión en HN (“Karpathy’s Pelican”, casi 400 puntos y +300 comentarios)
- Simon Willison: página de la etiqueta pelican-riding-a-bicycle (+130 artículos relacionados)
- Simon Willison: Kimi K3 y qué más podemos aprender del benchmark del pelícano
- Dylan Castillo: ¿Están los laboratorios de IA haciendo “pelicanmaxxing” en secreto?
