Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nueva investigación sobre IA y seguridad, seleccionada por su relevancia para modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes corresponden a las propias palabras de los autores o de la editorial, con enlaces a los originales.
Revisados por pares
¿Eres un investigador científico en ciernes? Haz nuestro test de plagio para poner a prueba tus habilidades
Transformación de los análisis evolutivos moleculares con modelos fundamentales de proteínas
Nuevos preprints (aún no revisados por pares)
Dressed in Authority: Practical Black-Box Jailbreaking of MLLMs via Visual Trust Bias
Los modelos lingüísticos grandes multimodales (MLLM) avanzan rápidamente, pero su seguridad sigue siendo una preocupación fundamental, especialmente ante los intentos de elusión (jailbreak). Los ataques actuales a MLLM inyectan perturbaciones antagonistas frágiles en imágenes irrelevantes o sintetizan señales visuales tóxicas para lograr intenciones de ataque basadas en texto.
Natural Code Transformation Confuses Agents in Vulnerability Analysis
Tras demostrar un gran potencial para automatizar la detección de vulnerabilidades, los agentes de IA también pueden utilizarse para atacar sistemas de software a gran escala. Los sistemas de software actuales necesitan mecanismos para nivelar el terreno de juego desacelerando los posibles ataques, dándoles tiempo para parchear las vulnerabilidades y reforzar el software.
SEAM: Computer-Use Agents Know the Harm Between Screens, and Commit It Anyway
Los estándares de seguridad para agentes de uso de ordenadores (CUA) sitúan el daño ya sea en la intención de la tarea o en una sola pantalla: una instrucción maliciosa, un comando inyectado, una página de phishing. Un agente que comprueba la tarea y cada pantalla de forma aislada puede superarlas, por lo que no se evalúa si combina datos vistos en diferentes pantallas.
GapLeak: When Privacy-Preserving LLM-based Web Agents Become a Privacy Risk
Los agentes web basados en modelos de lenguaje grande (LLM) se basan en la minimización de datos y el privilegio mínimo para proteger la privacidad del usuario. Demostramos que estos principios son necesarios pero insuficientes: restringen las fuentes autorizadas, pero no las fuentes de mayor sensibilidad que siguen siendo accesibles.
Seeing with You: Perception-Reasoning Coevolution for Multimodal Reasoning
El aprendizaje por refuerzo con recompensas verificables (RLVR) ha mejorado sustancialmente las capacidades de razonamiento de los modelos lingüísticos grandes multimodales (MLLM). Sin embargo, los enfoques actuales de RLVR suelen depender de una optimización impulsada por los resultados que actualiza tanto la percepción como el razonamiento utilizando una recompensa compartida basada únicamente en la respuesta final.
WebAgents: Unbundling Agent Creation, Hosting, and Execution for an Agent-Native Web
Los modelos de lenguaje grande están pasando de ser asistentes aislados a agentes autónomos capaces de planificar, utilizar herramientas y coordinarse con otros, lo que motiva una Web Agéntica emergente de agentes y servicios desarrollados de forma independiente. Hacer realidad esta visión requiere que el comportamiento de los agentes se mueva entre creadores, alojamientos y entornos de ejecución sin acoplar la publicación a un entorno de ejecución particular ni transferir la autoridad sobre los recursos del usuario.
What Does an Agent Need? Bundle-Aware Agent Resource Composition
El valor del recurso de un agente depende de su infraestructura y de los recursos complementarios, y solo se conoce tras la ejecución. Los generadores basados en tokens siguen vinculados a su catálogo de entrenamiento, mientras que la puntuación de recursos independientes pasa por alto las complementariedades y los paquetes reutilizados se dirigen a otras tareas.
From Strategy Search to Policy Learning: MCTS-Guided Adversarial Co-Evolution for LLM Safety Alignment
Los modelos de lenguaje grande (LLM) potencian cada vez más las aplicaciones web, incluidos los asistentes conversacionales y los servicios de contenido, donde la interacción abierta con el usuario los expone a diversas amenazas a la seguridad y ataques adaptativos. En particular, los atacantes de jailbreak reformulan repetidamente peticiones dañinas para sortear la alineación de seguridad.
