Cuando la IA diseña un reactor de fusión de 1 teravatio: ¿quién se atreve a firmar el permiso de seguridad?

Cuando la IA diseña un reactor de fusión de 1 teravatio: ¿quién se atreve a firmar el permiso de seguridad?

IAMatemáticasRevisión de Seguridad

Fuentes:Terence Tao 博客 + HN 讨论

Si un modelo de inteligencia artificial presentara los planos completos de una central nuclear de fusión de 1 teravatio (terawatt), acompañados de un método de confinamiento y control jamás imaginado por la física humana, ¿quién se atrevería a estampar su firma en la autorización de construcción y puesta en marcha?

En un artículo invitado publicado en el blog del célebre matemático Terence Tao, Amit Sahai, catedrático de Ciencias de la Computación y Criptografía en la UCLA, reflexiona sobre el aluvión de conocimiento generado por las máquinas. Frente a este desbordamiento algorítmico, Sahai sostiene que la línea de defensa primordial no consiste en calcular más rápido, sino en salvaguardar y organizar a escala la «comprensión» humana.

La velocidad de producción de las máquinas desborda los límites biológicos humanos

Sahai parte de un recuerdo elocuente de su etapa universitaria. En cualquier facultad de matemáticas, siempre hay un grupo de estudiantes brillantes que absorbe los conceptos abstractos a una velocidad pasmosa, mientras que otros compañeros necesitan mucho más tiempo. Abrumados por la frustración, muchos de estos últimos terminaban abandonando la investigación matemática. Hoy, señala Sahai, es la humanidad en su conjunto la que experimenta esa misma sensación de rezago. Los modelos de IA ya están concibiendo ideas matemáticas elegantes y profundas, que van mucho más allá de limitarse a replicar demostraciones ya comprendidas por el ser humano.

El coste marginal de producir conocimiento se aproxima vertiginosamente a cero. Sin embargo, el coste de absorberlo permanece rígidamente fijado por los límites biofísicos del cerebro humano. Existe un tope infranqueable de artículos científicos que una persona puede evaluar en profundidad al día. Delegar la ejecución técnica en sistemas automatizados permite obtener resultados inmediatos, pero despoja al proceso de su comprensión real. Dado que el ancho de banda cognitivo individual no puede procesar un volumen de información que crece exponencialmente, ampliar la masa crítica de personas capaces de asimilarla se convierte en una necesidad ineludible.

Terence Tao en un coloquio en el IPAM en 2026 Figura: Terence Tao durante un coloquio en el IPAM en 2026. Fuente: Wikimedia Commons

1 teravatio deja sin efecto décadas de experiencia histórica

¿Por qué resulta tan imprescindible la comprensión humana? Volvamos al experimento mental de la central de fusión de 1 teravatio. Un teravatio representa una magnitud de potencia descomunal. Por ello, cualquier propuesta inédita de confinamiento ideada por un modelo arrastra un peligro intrínseco: es demasiado nueva.

La cadena de confianza construida a lo largo de décadas operando instalaciones similares queda completamente invalidada. Antes de dar luz verde a las obras, un equipo de especialistas debe ser capaz de deducir matemáticamente cómo se contendrán los fallos, hacia dónde se disipará la gigantesca energía almacenada en caso de parada de emergencia y si el comportamiento de los materiales responderá a lo previsto. Cuando un sistema carece de un histórico operativo que lo respalde, si los expertos no pueden verificar de forma independiente la evidencia empírica y los márgenes de error del modelo, cualquier «diseño óptimo» equivale a una peligrosa caja negra.

Convertir la comprensión en una línea de defensa social y financiada

Sahai aclara que no pretende que los humanos compitan en velocidad de cálculo con las máquinas ni que repitan a mano operaciones que los algoritmos resuelven de forma impecable. De hecho, una investigación publicada en Nature Human Behaviour demuestra que la mera incorporación de supervisión humana («human-in-the-loop») no mejora de manera automática las decisiones técnicas.

Lo que Sahai defiende es transformar la «comprensión» en una capacidad social estructurada y debidamente financiada. En lugar de percibir las matemáticas como un mero pasatiempo intelectual de torre de marfil, debemos concebirlas como una «reserva intelectual desplegable». La carga cognitiva que un individuo puede soportar tiene un límite; asimilar la complejidad extrema exige tiempo y ritmos de vida sostenibles. Solo mediante el trabajo colaborativo y organizado se puede tejer la red de seguridad imprescindible para auditar los proyectos de ingeniería generados por máquinas.

Paul Erdős junto a un joven Terence Tao Figura: Paul Erdős junto a un joven Terence Tao, hacia 1985. Fuente: Wikimedia Commons

Externalizar a ciegas en la máquina desemboca en interminables problemas XY

La publicación del ensayo abrió un profundo debate en la comunidad tecnológica, dividida en dos corrientes bien diferenciadas. Por un lado, quienes defienden la dimensión formativa de la mente sostienen que la verdadera esencia de las matemáticas radica en transformar el modo de razonar del ser humano. Si se las reduce a una mercancía intercambiable subcontratada a grandes modelos de lenguaje, multiplicando teoremas que ningún cerebro humano alcanza a asimilar, el conocimiento se degrada a una acumulación de fórmulas inertes.

Por otro lado, los ingenieros de software aportaron testimonios directos de su práctica profesional. Aquellos desarrolladores que delegan problemas completos en modelos de IA a menudo constatan que no obtienen soluciones limpias, sino que tropiezan una y otra vez con el clásico problema XY. La arquitectura del software acaba saturada de complejidad accesoria y el código entregado queda plagado de vulnerabilidades invisibles.

En una época en la que incluso matemáticos de la talla de Terence Tao se apoyan en asistentes de IA para redactar sus reflexiones —el propio Sahai reconoció con honestidad que GPT 6 Astra fue fundamental para estructurar su texto—, el centro de gravedad del valor humano se ha desplazado. Cuanto más eficaces sean los sistemas automatizados a la hora de producir soluciones complejas de vanguardia, mayor será el peso decisivo de aquellos evaluadores independientes capaces de poner a prueba los límites y fallos de cada propuesta.

Enlaces de referencia:

  • Artículo invitado en el blog de Terry Tao
  • Debate en Hacker News
  • Debate en Lobsters
  • Informe de investigación en Nature Human Behaviour