En julio de 2026, un proyecto de código abierto llamado TurboFieldfare captó la atención de Hacker News, acumulando 608 puntos y más de 200 comentarios. El motivo era asombrosamente directo: permitía ejecutar un modelo de lenguaje de 26.000 millones de parámetros en un ordenador Mac con solo 8 GB de RAM, utilizando únicamente 2 GB de espacio de memoria.
26.000 millones de parámetros. 2 GB de memoria RAM. Colocar estas dos cifras juntas resulta, a primera vista, contrario a toda intuición.
Un gran modelo no equivale necesariamente a una GPU gigante. Este es el mensaje central que pretendemos transmitir en este artículo.
Una tarea aparentemente imposible
Pongámonos en contexto. Gemma 4 es una familia de modelos de código abierto lanzada por Google DeepMind a principios de 2026. Una de sus variantes, denominada «Gemma 4 26B-A4B», utiliza una arquitectura de mezcla de expertos (MoE, por sus siglas en inglés). Tras aplicar una cuantización de 4 aumentos, este modelo sigue requiriendo 14 GB de espacio en disco.
Sin embargo, la mayoría de los portátiles Mac de usuarios estándar cuentan con 8 GB de RAM, de los cuales el sistema operativo consume entre 3 y 4 GB, dejando un margen extremadamente reducido para modelos de IA.
Las herramientas tradicionales de inferencia (como llama.cpp o MLX) cargan el modelo completo en memoria RAM antes de ejecutarlo. Es imposible cargar un modelo de 14 GB en una máquina con 8 GB de RAM, ya que el sistema operativo impide que una sola aplicación acapare toda la memoria. Ese camino era un callejón sin salida desde el principio.
Por lo tanto, la pregunta cambió: ¿Existe alguna forma de hacer funcionar el modelo sin cargarlo por completo en la memoria RAM?
Andrey Mikhaylov, creador de TurboFieldfare e ingeniero de iOS y Metal, dio una respuesta afirmativa. Tras varias semanas de trabajo y 103 experimentos, escribió un motor de inferencia desde cero utilizando el lenguaje Swift y el framework gráfico Metal de Apple. El resultado: entre 5 y 6 tokens por segundo en un MacBook Air M2, y hasta 31 a 35 tokens por segundo en el más reciente M5 Pro.
No solo funciona, sino que ofrece una velocidad totalmente utilizable en el mundo real. No es un artículo teórico, sino un logro de ingeniería descargable y funcional.
La ventaja oculta de los modelos MoE: Diseñados para la lectura en streaming
Para entender esta solución, es necesario comprender la particularidad de la arquitectura de Mezcla de Expertos (MoE).
Un modelo de lenguaje tradicional funciona como un «todoterreno»: para generar cada palabra, todos los parámetros del modelo participan en el cálculo. Es equivalente a una gran empresa donde todos los empleados deben opinar sobre cada proyecto, lo cual resulta ineficiente.
Un modelo MoE funciona de manera distinta. Es similar a una corporación con 128 departamentos especializados. Cuando llega una nueva tarea, un planificador llamado «router» analiza la petición y activa únicamente a los 8 departamentos más idóneos. Los otros 120 departamentos permanecen inactivos.
De los 26.000 millones de parámetros totales del modelo, solo unos 3.800 millones participan activamente en cada cálculo. Esto es lo que significa «A4B» en «26B-A4B»: Active 4 Billion (aproximadamente 4.000 millones de parámetros activos por paso).
Esta característica arquitectónica determinó la estrategia de TurboFieldfare: Si solo se utiliza menos del 10% de los expertos en cada momento, ¿por qué mantener el 90% restante ocupando espacio en la memoria RAM?
Tres optimizaciones clave para ajustar 14 GB en 2 GB de RAM
Los entornos tradicionales de inferencia cargan los pesos de los 128 expertos en memoria RAM para tenerlos siempre disponibles. Es como si una empresa reservara escritorios para los 120 empleados inactivos, ocupando toda la planta del edificio.
El enfoque de TurboFieldfare es rotundo: Solo quien trabaja ocupa un puesto.
1. Compresión de 4x: Reducción del tamaño de datos
Los pesos del modelo contienen una gran redundancia numérica. Al igual que una fotografía 4K no muestra diferencias apreciables al comprimirse a 1080p para la mayoría de las personas, los pesos se pueden cuantizar.
TurboFieldfare emplea cuantización de 4 bits, reduciendo la precisión de 16 a 4 bits, lo que disminuye el tamaño a la cuarta parte. Así se obtienen los 14 GB de pesos comprimidos. Las capas del router mantienen 8 bits para conservar la precisión de enrutamiento, mientras que los pesos principales usan 4 bits, garantizando una calidad de respuesta aceptable.
2. Streaming desde SSD: La RAM solo almacena lo compartido
Este es el pilar de ingeniería más relevante del proyecto.
TurboFieldfare mantiene en la memoria RAM únicamente la parte común de 1,35 GB (capas de cómputo compartidas y caché KV), mientras que los pesos de los 128 expertos permanecen en el disco SSD. En cada ciclo de generación de tokens, solo lee del SSD los 8 expertos necesarios en ese instante.
No obstante, existe un límite físico evidente: la latencia de acceso de un SSD se mide en milisegundos, mientras que la de la RAM es de nanosegundos (una diferencia de decenas de miles de veces). Si se esperara de forma síncrona la lectura del SSD en cada paso, la velocidad de generación se volvería impracticable.
3. Caché inteligente + Solapamiento temporal
El autor diseñó tres niveles de optimización para salvar esta diferencia de velocidad:
Caché de expertos. Aunque se necesitan 8 expertos por paso, la generación de tokens consecutivos suele requerir los mismos expertos. TurboFieldfare asigna 16 ranuras de caché por capa y utiliza el algoritmo LFU (menos frecuentemente utilizado) para decidir cuáles conservar. Los aciertos en caché evitan lecturas del SSD. Los datos experimentales demuestran que esta caché redujo el tiempo de lectura de expertos de 166 ms a 88 ms por token.
Lectura previa paralela (pread). Confiar en la paginación bajo demanda (mmap) para que el sistema operativo gestione la carga de páginas parece elegante, pero en las pruebas ofreció un rendimiento desastroso: 0.5 tok/s en arranque en frío. El autor cambió a llamadas del sistema pread concurrentes para solicitar activamente la lectura de datos, aumentando la velocidad a 3,97 tok/s. Esta decisión surgió de mediciones reales, no de postulados teóricos.
Solapamiento temporal (Pipelining). Mientras el SSD lee los datos de los expertos, la GPU no permanece inactiva: procesa el cálculo de las capas compartidas del modelo. Cuando finaliza el cálculo compartido, los datos del SSD acaban de llegar. Esta cuidadosa programación oculta casi por completo el tiempo de espera. Adoptar un solapamiento de grano grueso (leer en grupo antes de calcular) demostró ser más estable y eficiente que el procesamiento individual.
103 experimentos y una mayoría de fracasos
El trabajo de ingeniería difiere del desarrollo académico. Los artículos científicos muestran el camino victorioso; la ingeniería exige recorrer todos los desvíos fallidos.
La documentación de TurboFieldfare recoge en detalle los resultados de 103 experimentos. El autor comparte abiertamente aquellos intentos que parecían prometedores sobre el papel pero resultaron ineficaces:
Mapeo de memoria (mmap) parecía una solución elegante. Dejar que el sistema operativo gestione las páginas requería un código mínimo. Resultado real: 0,5 tok/s en arranque en frío, equivalente a un bloqueo del sistema.
Kérnels cooperativos SIMD. Hacer que múltiples hilos colaborasen en un mismo experto ofrecía una estructura más limpia. Resultado real: el tiempo de cómputo en GPU se duplicó de 230 ms a 527 ms, por lo que fue descartado.
Lectura anticipada entre capas. Si en la capa N se eligen los expertos A y B, ¿es posible predecir y cargar los de la capa N+1? Los análisis revelaron que la selección de expertos en capas adyacentes no guardaba correlación, con una precisión de predicción de tan solo el 7%.
Asincronía de grano fino. Iniciar el cálculo en cuanto se lee un experto individual introducía una sobrecarga de sincronización que ralentizaba la ejecución y alteraba los resultados. Se optó finalmente por el esquema de grano grueso.
El valor de estos intentos fallidos es tan valioso como el del éxito final. Demuestran una premisa fundamental: La única optimización válida es aquella que ha sido verificada en la práctica.
¿Por qué es importante este avance?
La trascendencia de TurboFieldfare radica en haber probado una realidad:
La inferencia de modelos de lenguaje no requiere obligatoriamente GPUs de alto coste.
Mediante una optimización de software exigente —streaming desde SSD, caché inteligente y diseño de kernels adaptados al hardware—, los ordenadores portátiles de uso personal pueden convertirse en potentes motores de inferencia de IA.
En la actualidad, las GPU de gama alta están monopolizadas por pocas corporaciones, alcanzando precios elevados y escasez de suministro. Proyectos como TurboFieldfare muestran una alternativa: en lugar de depender de hardware más costoso, reescribir los límites físicos mediante un software superior.
Este escenario evoca a la industria de los videojuegos de los años 90. En aquel momento, los juegos en 3D requerían estaciones de trabajo profesionales, hasta que la llegada de las tarjetas gráficas para consumidores permitió disfrutar de gráficos 3D en PC estándar. TurboFieldfare se encuentra en los inicios de una transformación similar, demostrando que la inferencia de IA no tiene por qué estar encadenada al hardware.
Actualmente, el proyecto supera las 900 estrellas en GitHub y la comunidad aporta nuevos datos de rendimiento. El creador prevé lanzar versiones para iPhone e iPad, permitiendo la ejecución local de modelos en dispositivos móviles.
Es muy probable que, en un futuro cercano, tu teléfono móvil o incluso tus auriculares integren un asistente de IA con decenas de miles de millones de parámetros que funcione consumiendo apenas unas decenas de megabytes de RAM. TurboFieldfare es solo un paso en este camino, pero señala una dirección sumamente clara.
Enlaces de referencia:
- GitHub: Repositorio de TurboFieldfare
- Discusión en HN (item?id=49098510)
- Informe técnico de Gemma 4
- Guía visual de Gemma 4 por Maarten Grootendorst
- Documentación de diseño del sistema TurboFieldfare
- Registro de experimentos de optimización de TurboFieldfare (103 experimentos)
