A lo largo de 40.000 partidas y 409.000 decisiones entre “Permitir o Denegar”, los revisores humanos pasaron por alto un tercio de las órdenes maliciosas ocultas. Estos son los datos reales publicados el mes pasado por ScaleX a partir de un videojuego para navegador. Desde el principio, el juego advertía explícitamente a los jugadores: hay comandos dañinos camuflados, presten mucha atención. La advertencia apenas sirvió de nada.
Los asistentes de IA se están integrando rápidamente en la vida cotidiana: redactan textos, organizan archivos, reservan billetes y responden mensajes. En cada paso de ejecución, puede aparecer una ventana emergente: “¿Permitir ejecución?” Haces clic en “Permitir” y continúa; haces clic en “Denegar” y busca otra vía. En la industria, este mecanismo se conoce como aprobación “Human-in-the-Loop” (HITL), situando al ser humano como la última barrera de control. Es como darle una tarjeta de acceso a un becario: cada vez que da un paso se gira a preguntarte “¿Puedo hacer esto?”, mientras tú asientes despistado en medio de tu trabajo.
El experimento convirtió este flujo de aprobación en un juego. Los jugadores asumieron el rol de revisores, con la tarea de clasificar rápidamente bajo presión de tiempo si cada comando era legítimo o malicioso. Cada error restaba puntos. Había amenazas flagrantes como borrar la base de datos, así como atacantes sigilosos que enviaban datos en secreto a servidores desconocidos.
Un “examen de portero” de 40.000 partidas
El expediente no fue nada brillante. En promedio, los jugadores pasaron por alto 1/3 de los comandos maliciosos, obteniendo una precisión general de solo el 66.3%. Un 32.9% de las partidas terminó con puntuación negativa: las penalizaciones por dejar pasar amenazas y bloquear comandos seguros superaron los puntos ganados por acertar. Aunque el 35.2% de los jugadores detectó todas las amenazas, solo el 20.8% lo logró mediante una revisión normal; el resto recurrió a la estrategia rudimentaria de “bloquear todo de forma sistemática”. Además, un 7% de los jugadores aprobó todas las solicitudes sin bloquear absolutamente nada.
Figura: Estadísticas generales de 40.000 partidas. Fuente: scalex.dev
Una reflexión técnica cruda: este test evaluó a personas que sabían que se les estaba examinando, fueron advertidas explícitamente y eran penalizadas por cada error. En un entorno de trabajo real no hay advertencias previas ni deducción de puntos. En condiciones reales, los resultados probablemente serían aún peores.
Lo más fácil de aprobar es precisamente lo que más debería bloquearse
Al desglosar las órdenes maliciosas por categoría, las diferencias en la tasa de omisión son notables:
- Ataques destructivos (borrado de base de datos, formateo del sistema): 11.7% de omisión
- Puertas traseras y elementos de inicio (backdoors, modificación del arranque): 23.8% de omisión
- Exfiltración de datos (envío sigiloso a servidores desconocidos): 33.4% de omisión
- Acceso a archivos sensibles (lectura de contraseñas, claves secretas): 35.0% de omisión
El patrón es innegable: los usuarios son eficaces deteniendo el vandalismo descarado, pero aprueban con facilidad el robo de información. La tasa de omisión al enviar datos duplica y triplica a la del borrado de bases de datos. Lo que más codician los atacantes coincide exactamente con lo que el ser humano deja desprotegido.
”Ejecutar análisis”: nombre inofensivo, contenido alterado
El peor registro individual correspondió a un comando titulado “Ejecutar análisis”, aprobado por el 64.7% de los jugadores, convirtiéndose en el más pasado por alto entre 37 tipos de amenazas. Su nombre parecía completamente inofensivo, pero en el registro de historial sobre la ventana emergente aparecía claramente el verdadero contenido: empaquetar datos locales y enviarlos a un servidor remoto desconocido. Dos tercios de los usuarios hicieron clic en “Permitir”.
Conviene analizar en detalle este mecanismo. Este tipo de comandos funcionan como accesos directos en el escritorio: el nombre dice “Análisis de datos”, pero el script real que se ejecuta reside en los archivos del proyecto. La clave es que el asistente de IA no necesita autorización del usuario para modificar archivos de proyecto. Primero coloca la bomba en el archivo y luego se vuelve a preguntar: “¿Puedo encender la mecha?” Un jugador lo resumió así en el foro: modificar archivos no requiere aprobación, ejecutar archivos sí requiere aprobación; los atacantes se cuelan precisamente por esa rendija.
Tres comandos similares sumaron una tasa de omisión del 52.5%, frente al 28.4% de otros ataques de robo de datos. Ocultar contenido malicioso tras un nombre familiar duplicó la tasa de éxito del ataque. El camuflaje funcionó mucho mejor que la destrucción: los revisores no dejaron de mirar, sino que pasaron por alto la inspección detallada al ver un nombre conocido.
Cuanto más avanza el juego, más se relaja la atención
Los datos mostraron además que la tasa de omisión aumentaba de forma considerable hacia el final de cada partida. Durante las primeras órdenes, los jugadores estaban alerta y concentrados; a medida que pasaba el tiempo, la atención disminuía de forma constante. Con el reloj corriendo y la prisa por ganar puntos, los usuarios empezaron a decidir por intuición y a hacer clic en “Permitir” de forma reflexiva. El autor cita una frase de Anthropic: cuantas más aprobaciones ve un usuario, menos atención presta a cada una de ellas.
Figura: La tasa de omisión aumenta a medida que avanza el juego. Fuente: scalex.dev
El desgaste es bidireccional. Tres comandos completamente seguros (configurar un repositorio interno de paquetes, limpiar la caché de compilación y reiniciar un servicio local bloqueado) fueron interceptados por el 59%, 45% y 43% de los jugadores respectivamente. Los falsos positivos excesivos generan adormecimiento; una vez insensibilizado, el usuario no bloquea las amenazas reales cuando aparecen. Es una versión moderna de “que viene el lobo”: lo que se agota verdaderamente en este enfrentamiento es la atención natural del ser humano.
El experimento desató un intenso debate
La metodología del experimento fue fuertemente cuestionada en Hacker News. Los críticos argumentaron: algunas preguntas eran ambiguas (por ejemplo, “leer un archivo de configuración personal” es inofensivo para algunos flujos, pero una fuga para otros); la presión del tiempo no refleja la realidad; y la crítica fundamental: los jugadores sabían que se les evaluaba, mientras que en la vida real nadie mantiene una actitud de auditoría hostil hacia su propio asistente de IA.
El autor (exingeniero senior de Uber, conocido en HN como Wirbelwind) respondió punto por punto. Admitió que dos preguntas contenían ambigüedades reales y las corrigió rápidamente. Sin embargo, tras corregirlas, la tasa de omisión no disminuyó; al comparar datos de distintas franjas horarias, la tasa global se mantuvo constante, siendo incluso peor en los periodos sin tráfico de HN.
Aclarar las preguntas no redujo la tasa de error. El problema no está en las preguntas, sino en las personas.
Para ser justos, los defensores también aportaron razones válidas: el 34% de los comandos del juego eran maliciosos, mientras que en la realidad la densidad de amenazas es mucho menor. Los jugadores estaban en alerta máxima por esa concentración, por lo que el comportamiento real podría ser aún más permisivo. No obstante, ambas partes coinciden en un hecho: los seres humanos no están capacitados para supervisar continuamente cadenas de comandos.
La realidad es peor que el juego
El comentario con más votos en HN fue del programador pllbnk: en la vida real nunca lees lo que tu asistente de IA está ejecutando. Mostró un comando que su propio asistente de IA estaba corriendo en ese momento: un script en un directorio temporal con la palabra hidden (oculto) en el nombre del archivo. Admitió no tener idea de qué hacía: “Las veces anteriores nunca pasó nada, ¿por qué iba a pasar algo esta vez? ¡Aprobado!” Si hubiera que entender cada comando, el beneficio de productividad de la IA desaparecería por completo.
Otro comentario fue aún más directo: este botón nunca fue un mecanismo de seguridad, sino un descargo de responsabilidad legal de los fabricantes; si algo sale mal, los abogados de la empresa pueden decir “tú lo aprobaste, la responsabilidad es tuya”. Es una afirmación tajante, pero junto a una tasa de fallo del 33%, no resulta descabellada.
Tres consejos para los usuarios comunes
Aunque los participantes del experimento eran desarrolladores, estas dinámicas de aprobación están llegando a los teléfonos y ordenadores de todo el mundo. Los asistentes de IA para móviles y sistemas operativos ya pueden abrir aplicaciones, leer archivos, enviar mensajes y realizar pagos, preguntando si deseas “Permitir” antes de actuar. Las capacidades de la IA aumentan, pero el presupuesto de atención humana no crece. Cuanto más frecuentes son las ventanas emergentes, más a la ligera aprueba el usuario. El phishing por IA y las trampas de clics usan la misma psicología: lograr que en un despiste confirmes algo aparentemente inofensivo pero con un coste real.
Los consejos para usuarios comunes no requieren saber de tecnología: no otorgues permisos de “llave maestra” a tu asistente de IA, concede solo lo necesario; para operaciones clave como contraseñas, códigos de verificación y pagos, exige una confirmación manual adicional; y mantén cierta desconfianza hacia la palabra “Permitir” cuando aparezca demasiado a menudo.
Lo que realmente debe cambiar es el sistema. El propio autor propone la solución del aislamiento (sandboxing): hacer que el asistente de IA trabaje en un entorno aislado para que, aun siendo controlado por atacantes, no alcance tus archivos importantes; y guardar la información sensible de forma independiente para que no pueda leerla de pasada. Hay que trasladar la línea de defensa de la “atención humana” a la “estructura del sistema”: los datos ya han demostrado que la primera no aguanta.
40.000 partidas han demostrado una cosa: las ventanas de aprobación delegan la responsabilidad de seguridad en el recurso más escaso del ser humano: la atención continuada. Y esa atención, ante la prisa, la repetición y los nombres conocidos, termina por agotarse. La próxima vez que el asistente de IA te pregunte “¿Permitir?”, vale la pena detenerse un segundo a pensar. Ese segundo podría ser la diferencia entre estar o no en el tercio de errores del experimento.
Enlaces de referencia:
- ScaleX: Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays
- HN Debate (item?id=49195468)
- Developers Digest: Approval Fatigue Is an Agent Security Bug
- TechMedia: Del borrado de bases de datos al borrado de correos: El “fallo fatal” de los asistentes de IA
