El 8 de septiembre de 2026, un experimento técnico contra el sentido común alcanzó la portada de Hacker News: un desarrollador logró ejecutar de forma totalmente desconectada el modelo Kimi K3 de Moonshot AI, con sus 2,8 billones de parámetros de pesos abiertos, en un MacBook Pro con procesador M5 Max de Apple. El portátil contaba con tan solo 128 GB de memoria unificada. El volumen que ocupan 2,8 billones de parámetros desborda con creces los límites físicos de cualquier ordenador doméstico convencional. Sin embargo, recurriendo a cuatro unidades de estado sólido NVMe externas de alta velocidad en paralelo, el proyecto de código abierto deltafin culminó esta auténtica proeza de ingeniería: la hormiga que consiguió mover al elefante.
Demostrar que un modelo de varios billones de parámetros puede albergarse en un ordenador portátil de consumo altera radicalmente la narrativa económica de la inteligencia artificial puntera. A lo largo del último lustro, los grandes modelos fundacionales se han concebido como servicios exclusivos en la nube de enormes centros de datos, a los que los usuarios corrientes solo podían acceder a través de una API de pago. Hoy, la publicación de pesos abiertos unida al ingenio de la comunidad traslada directamente al disco duro del usuario la pregunta fundamental de «cuánto hardware se necesita para hablar de verdadera IA». Sin embargo, antes de cantar victoria, las pruebas de rendimiento marcan una frontera física implacable: este portátil, atado a cuatro discos externos, solo es capaz de generar texto al ritmo de una palabra o token por segundo.
128 GB de memoria no pueden albergar 2,8 billones de parámetros
Ejecutar un modelo con billones de parámetros en local choca de inmediato contra el muro de la capacidad de memoria física. Los parámetros son los diales internos de ajuste de una red neuronal: 2,8 billones de reguladores determinan la cota máxima de inteligencia del modelo, pero también su colosal tamaño digital. Con los métodos habituales de cuantización y compresión, cargar íntegramente un modelo de 2,8 billones de parámetros exige en torno a 1 TB de memoria RAM, e incluso con técnicas de compresión sumamente agresivas sigue necesitando varios cientos de gigabytes. En la actualidad, el MacBook Pro mejor equipado del mercado apenas alcanza los 128 GB de memoria unificada.
La ambición técnica colisiona aquí de frente con las limitaciones del silicio. En el modelo de ejecución convencional, toda la red neuronal debe residir simultáneamente en la memoria del sistema. Una máquina de 128 GB no puede almacenar ni la quinta parte de Kimi K3. Cuando la memoria escasea, el recurso habitual es acudir a la memoria virtual en disco (swap). No obstante, los discos de estado sólido son cientos de veces más lentos que la memoria RAM principal. Si el procesador se ve obligado a consultar el disco de forma continua durante la inferencia, la velocidad de procesamiento se desploma al instante.
Si se pretendiera ejecutar en disco una arquitectura densa tradicional, cada token generado obligaría a barrer miles de gigabytes a través del bus de almacenamiento. Esta solución es inviable en un ordenador personal. Para sortear este muro, era imprescindible idear un mecanismo capaz de transmitir datos estrictamente bajo demanda.
Cuatro unidades SSD asumen la rotación de 16 expertos
El éxito del proyecto deltafin radica en la explotación combinada de la arquitectura de mezcla de expertos (MoE, Mixture of Experts) de Kimi K3 y de una meticulosa labor de fragmentación de datos en disco. En su estructura interna, K3 incorpora 16 módulos expertos especializados en distintas tareas. A la hora de generar cada token, el modelo no necesita activar a todos los expertos al unísono: le basta con activar selectivamente el puñado más afín al contexto. Esta característica se adapta de forma natural a la lectura secuencial en streaming bajo demanda.
Los desarrolladores descompusieron el gigantesco modelo capa por capa y experto por experto, distribuyendo los fragmentos resultantes a lo largo de cuatro unidades SSD NVMe externas. Aunque el particionado y la distribución de datos (sharding y striping) son habituales en el mundo de las bases de datos, aplicarlos a la inferencia de modelos masivos en un ordenador personal supone un audaz experimento de democratización del hardware. La lectura y escritura concurrente en cuatro unidades permite repartir la asfixiante demanda de ancho de banda.
La inferencia se transforma de este modo en una partida de ajedrez logístico de alta precisión. Un mecanismo de precarga especulativa denominado K3_PILOT asume un papel protagónico: con cada nuevo token, el sistema predice qué experto se necesitará en la siguiente capa. De inmediato activa lecturas concurrentes (split-homed expert reads) para volcar los pesos desde los SSD hasta la memoria unificada. Tan pronto concluye el cálculo de la capa, esa porción de memoria se libera de inmediato para acoger a los siguientes expertos en cola. Con el fin de mitigar la latencia de acceso al disco, el proyecto supervisa la frecuencia de uso de cada componente mediante un histograma de residencia térmica (expert residency heat histogram). Los expertos de uso general más solicitados permanecen anclados de forma permanente en los 128 GB de memoria física, mientras que los especialistas de baja demanda aguardan su turno en el disco. Esta ingeniosa combinación de almacenamiento estático y streaming dinámico consigue enmascarar la mayor parte del tiempo de búsqueda y carga del almacenamiento secundario.
Figura: Imagen oficial de la ficha del modelo Kimi K3. Fuente: HuggingFace moonshotai/Kimi-K3
La aportación simultánea de cuatro SSD de alta velocidad sostiene el masivo caudal de transferencia exigido por las peticiones bajo demanda. Esta coreografía de datos adaptada a la geometría de la red abre un estrecho corredor de supervivencia para un coloso de 2,8 billones de parámetros dentro del angosto margen de 128 GB de memoria RAM.
Un token por segundo: los límites del pensamiento pausado
Hacer entrar a un elefante en un frigorífico doméstico se cobra un precio muy elevado en velocidad. Los datos empíricos revelan que, en este portátil de Apple, la mediana de velocidad tras dos arranques en frío se estabiliza entre 0,92 y 1,13 tokens por segundo. Incluso acoplando el pequeño modelo Qwen3-0.6B como decodificador especulativo para asistir en las predicciones, el ritmo sigue rondando 1 token/s. Al procesar entradas de 512 tokens, la velocidad de decodificación ronda los 1,4 token/s, generando un texto idéntico byte a byte al obtenido sin decodificación especulativa.
| Escenario y tipo de dispositivo | Velocidad típica de generación (token/s) | Caso de uso principal |
|---|---|---|
| API en la nube (GPT-4 / Kimi) | 20 - 50+ | Conversación en tiempo real, navegación web interactiva |
| Modelo pequeño local de ~8B | 30 - 60+ | Asistente de terminal offline, autocompletado de código |
| Kimi K3 + MacBook con 4 SSD | 0,92 - 1,13 | Razonamiento de código offline, redacción lógica extensa |
| Velocidad media de lectura humana | 4 - 8 | Comprensión visual de texto |
La velocidad media a la que un ser humano lee texto en pantalla oscila entre 4 y 8 palabras por segundo. Aguardar la respuesta de Kimi K3 sentado ante la pantalla significa ver desfilar los caracteres a una velocidad sensiblemente menor que la lectura en silencio. En agudo contraste, las arquitecturas en la nube de los centros de datos entregan con soltura decenas de palabras por segundo en un diálogo conversacional fluido.
Figura: Resultados empíricos del proyecto deltafin: velocidad de decodificación según la longitud de entrada. Fuente: GitHub argonautlabsai/deltafin
Esta caída de dos órdenes de magnitud en la velocidad desencadenó intensos debates en Hacker News. Ciertos desarrolladores lo calificaron de mera curiosidad técnica sin valor práctico alguno para la interacción humana cotidiana. No obstante, en tareas en segundo plano que prescinden de una respuesta instantánea, la lentitud no es un defecto invalidante. El sistema puede pasarse la noche analizando un repositorio complejo de código, o permitir que un agente explore rutas lógicas de forma autónoma dentro de un entorno aislado. Una tasa de un token por segundo resulta plenamente aceptable cuando a cambio se obtiene la máxima calidad de razonamiento de un modelo puntero. El experimento traza una línea divisoria nítida: este montaje no sirve para mantener charlas informales, pero resulta un trabajador infatigable para labores de computación y pensamiento pausado en local.
Los grandes modelos se convierten en archivos locales
Durante años, el relato de los avances en inteligencia artificial ha estado encadenado a centros de datos hipergigantescos y a costes de computación en la nube fuera del alcance común. Los programadores independientes y los usuarios finales debían conformarse con alquilar capacidad de cálculo a los gigantes tecnológicos, enviando sus datos confidenciales a servidores remotos. La demostración de deltafin al portar Kimi K3 a un ordenador portátil ilustra una posibilidad muy distinta: el modelo deja de ser un servicio remoto inaccesible para convertirse en un conjunto tangible de archivos guardados en el disco propio.
Disponer de un modelo de 2,8 billones de parámetros en forma de archivos locales en un portátil concede garantías físicas absolutas de soberanía sobre los datos y funcionamiento desconectado, aun cuando el flujo de razonamiento avance al pausado ritmo de un token por segundo. Las empresas pueden encomendar auditorías lógicas sobre código propietario con el cable de red completamente desconectado, a salvo de escuchas o filtraciones externas. Los ingenieros de software pueden apoyarse en una inteligencia puntera para validar el diseño de su arquitectura sin requerir conexión a internet, tratándola como un colaborador incansable en su propia máquina. El paradigma se aleja de las cajas de chat interactivo para abrazar procesos asíncronos en segundo plano de larga duración.
La liberación de los pesos de Kimi K3 sumada a la ingeniería de la comunidad ha culminado una valiosa prueba de concepto. Este experimento echa abajo la frontera infranqueable que separaba a los colosos computacionales del usuario de a pie. Lograr que un modelo MoE de 2,8 billones de parámetros funcione sin conexión en un dispositivo final señala un viraje histórico: el foco de la inteligencia artificial de vanguardia comienza a desplazarse del entrenamiento centralizado en la nube hacia la inferencia y distribución local.
Enlaces de referencia:
- Discusión en Hacker News (item?id=49616257)
- GitHub argonautlabsai/deltafin
- HuggingFace moonshotai/Kimi-K3
