Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nueva investigación sobre IA y seguridad, seleccionada por su relevancia para modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes son palabras propias de los autores o editores, enlazados al original.
Revisado por pares
Detección de dominio espacial por consenso guiada por LLM visual con L-STAR
RobPicker: un marco de meta‑aprendizaje para la identificación robusta de macromoléculas en tomogramas crio‑electrónicos
Nuevos preprints (aún no revisados por pares)
BrainwashedLLM: Jailbreak mediante Descubrimiento Automatizado de Cadenas de Pensamiento Adversarias
Los Modelos de Razonamiento Extenso (LRMs) logran un rendimiento sólido en tareas complejas al generar razonamiento explícito de Cadena de Pensamiento (CoT), pero las implicaciones de seguridad de esta superficie de razonamiento intermedia siguen poco exploradas. Demostramos que el rastro de razonamiento en sí es un vector de ataque poderoso.
El agente en el medio: cómo el acceso mediado por IA remodela la explotación de vulnerabilidades web
Los servicios web exponen cada vez más interfaces de backend que permiten a los usuarios delegar tareas a agentes de IA, los cuales invocan operaciones del servicio directamente sin navegar por sitios web. Este cambio altera la forma en que se pueden explotar las vulnerabilidades web existentes.
La decodificación con restricciones gramaticales puede jailbreakar LLMs para generar código malicioso
Los Modelos de Lenguaje Extenso (LLMs) se usan cada vez más para la generación de código, lo que genera preocupaciones de que puedan ser mal utilizados para producir código malicioso. Mientras tanto, la Decodificación con Restricciones Gramaticales (GCD) se ha adoptado ampliamente para mejorar la fiabilidad del código generado por LLMs mediante la imposición de validez sintáctica.
Cyber-JEV: Ajuste fino contrastivo emparejado de modelos de lenguaje para una triage rápida de vulnerabilidades en código fuente
Los modelos de puntuación de paso único como Jev asignan a cada función de código una probabilidad de vulnerabilidad, de modo que los equipos de seguridad pueden clasificar muchas funciones para revisión sin generar explicaciones escritas. Entrenar un modelo de peso abierto para esta tarea está limitado por los datos.
Medir la deriva de alineación específica del modelo en dinámicas de opinión basadas en LLM
Los agentes de modelos de lenguaje extenso (LLM) se usan cada vez más como participantes sintéticos en experimentos de dinámicas de opinión, asumiendo a menudo que el comportamiento de un agente está totalmente determinado por su prompt. Probamos esta suposición con un marco en el que los agentes LLM discuten un tema de política controvertido en rondas repetidas mientras su postura se cuantifica mediante un instrumento psicométrico fijo independiente de cualquier modelo de dinámicas.
El diablo está en el contexto: nueve dimensiones de los ataques de inyección de prompts
La inyección de prompts suele discutirse y evaluarse como un tipo único y homogéneo de ataque. Sin embargo, las vulnerabilidades reportadas en sistemas del mundo real demuestran que las inyecciones de prompts varían ampliamente.
MM-OptBench: un benchmark basado en solucionadores para modelado de optimización multimodal
El modelado de optimización traduce problemas reales de toma de decisiones en modelos matemáticos de optimización e implementaciones ejecutables por solucionadores. Aunque los modelos de lenguaje se usan cada vez más para generar formulaciones de optimización y código de solucionador, los benchmarks existentes para esta capacidad son casi exclusivamente de texto.
La web no está estática: ataques adversarios autoevolutivos contra agentes de búsqueda
Los Modelos de Lenguaje Extenso (LLMs) han demostrado ser prometedores para potenciar agentes de búsqueda que aborden tareas complejas de búsqueda de información. Sin embargo, dado que la adquisición de información externa requiere búsqueda web, estos agentes son muy susceptibles a varios ataques adversarios (p. ej., inyección de información maliciosa o manipulación de contexto sigilosa).