Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nuevas investigaciones sobre IA y seguridad, seleccionadas por su relevancia para los modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes corresponden a las palabras de los propios autores o de la editorial, con enlaces a los originales.
Nuevos preprints (aún no revisados por pares)
Protección consciente de la intención para agentes de IA
Los agentes de IA acceden cada vez más a datos empresariales, invocan herramientas potentes y actúan con una supervisión humana limitada. Las defensas de seguridad existentes detectan principalmente inyecciones de prompts, resultados perjudiciales o comportamientos sospechosos, pero no determinan si un agente se mantiene fiel al propósito para el que fue desplegado.
De la delegación a la coordinación: Aprendizaje de investigación profunda multiagente eficiente
Los sistemas de investigación profunda multiagente utilizan la delegación para paralelizar la búsqueda y mantener los historiales largos de las herramientas fuera del contexto del agente principal. Sin embargo, la delegación solo ayuda cuando la asignación de tareas y la ejecución de subtareas están coordinadas: el agente principal debe emitir subtareas útiles, mientras que los subagentes deben devolver pruebas fiables.
Bait: Mitigación del aprendizaje por refuerzo agéntico perjudicial mediante el sondeo de la función de recompensa
Exponemos una vulnerabilidad de seguridad en los nacientes servicios de aprendizaje por refuerzo agéntico como servicio. Concretamente, con un coste de tan solo $20, demostramos que la alineación de seguridad de un modelo de lenguaje grande (p. ej., Inkling) puede subvertirse por completo mediante rondas de aprendizaje por refuerzo agéntico perjudicial (RL agéntico) con un entorno tóxico procedente de sus usuarios.
Evaluación de seguridad basada en especificaciones de llamadas a herramientas por agentes del mundo real en tareas de contexto de largo horizonte
A medida que los agentes basados en modelos de lenguaje grande (LLM) se despliegan cada vez más en escenarios desatendidos de largo horizonte, su evaluación de seguridad antes del despliegue se vuelve cada vez más esencial y desafiante. Los métodos de evaluación existentes siguen principalmente los paradigmas de LLM-as-a-Judge o Agent-as-a-Judge.
CellularS2-Bench: Un benchmark por etapas y fundamentado en pruebas para el razonamiento sobre la seguridad de redes celulares
Las redes celulares son infraestructuras críticas que dan soporte a miles de millones de usuarios en todo el mundo y a servicios críticos para la seguridad y la misión. Por lo tanto, las vulnerabilidades en las redes celulares pueden causar interrupciones del servicio, violaciones de la privacidad y un amplio daño social, lo que motiva crecientes esfuerzos para analizar las especificaciones 3GPP que definen el comportamiento requerido de los dispositivos y operadores.
BELLS-O: Evaluación de las compensaciones operativas de los sistemas de supervisión de LLM
Los sistemas de supervisión de LLM, concretamente los filtros de moderación de entrada/salida y los detectores de jailbreak, son la principal salvaguarda contra el uso indebido en aplicaciones de IA desplegadas; sin embargo, los benchmarks existentes suelen presentar sesgos de los proveedores, omiten el coste y la latencia, y raras veces comparan barreras de protección (guardrails) especializadas frente a LLM generalistas adaptados. Presentamos BELLS-O (Benchmark for the Evaluation of LLM Supervision Systems, Operational), un benchmark operativo independiente que evalúa 33 sistemas de 17 desarrolladores: guardrails especializados (p. ej., Llama Guard 4, ShieldGemma-2B, Lakera Guard) y generalistas de frontera adaptados como supervisores (p. ej., GPT-5.4, Claude Sonnet 4.6, Grok 4.1 Fast), conjuntamente en cuanto a tasa de detección, tasa de falsos positivos, latencia y coste.
SynthCorp: Una plataforma para crear benchmarks para agentes de datos
Los benchmarks actuales para agentes de datos basados en LLM se saturan rápidamente y no pueden dirigirse a capacidades específicas. Presentamos SynthCorp, una plataforma que crea entornos de datos y benchmarks personalizables simulando cómo los eventos empresariales producen y modifican los datos corporativos a lo largo del tiempo.
Beyond the Diff – VulSpot: Un conjunto de datos de vulnerabilidades donde ninguna vulnerabilidad se queda sin localizar
Un detector de vulnerabilidades es tan fiable como el benchmark que lo evalúa, y los conjuntos de datos del mundo real actuales tienden a favorecer indebidamente a los detectores. A menudo se crean una sola vez y nunca se actualizan, por lo que rápidamente pasan por alto nuevas vulnerabilidades; sus etiquetas tienen ruido o están fuertemente filtradas, y sus particiones aleatorias permiten que los modelos se entrenen con casi copias de código de prueba y con vulnerabilidades futuras.
