Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nueva investigación sobre IA y seguridad, seleccionada por su relevancia para los modelos de lenguaje, los agentes de IA y la ciberseguridad. Los resúmenes corresponden a las propias palabras de los autores o de la editorial, con enlaces a los originales.
Revisados por pares
Effective enzyme engineering through modeling kinetic parameter changes upon mutations with geometric deep learning
A gait foundation model for prediction of multisystem health phenotypes from 3D skeletal motion
Towards ecologically meaningful foundation models
‘Mathematics is more than a mechanical process’ — why I think the field will survive OpenAI’s disruption
Exploring the sustainable scaling of AI dilemma: a projective study of corporations’ AI environmental impacts
Biological foundation models
Nuevos preprints (aún no revisados por pares)
SAVeR$^2$: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards
Los grandes modelos de razonamiento (LRM, por sus siglas en inglés) han logrado un rendimiento impresionante mediante el razonamiento explícito de cadena de pensamiento (CoT), pero este proceso introduce riesgos críticos para la seguridad. Formalizamos los objetivos de seguridad de los LRM exigiendo un razonamiento y respuestas no maliciosos, consistencia en la seguridad e identificación explícita de la intención.
ARMs: Adaptive Red-Teaming Agent against Multimodal Models with Plug-and-Play Attacks
A medida que los modelos de visión y lenguaje (VLM) ganan protagonismo, sus interfaces multimodales también introducen nuevas vulnerabilidades de seguridad, lo que hace que la evaluación de la seguridad sea un desafío fundamental. Los esfuerzos existentes de pruebas de equipo rojo (red-teaming) se limitan a un conjunto reducido de patrones adversarios o dependen en gran medida de la ingeniería manual, careciendo de una exploración escalable de las vulnerabilidades emergentes de los VLM en el mundo real.
TSQAgent: Rating Time Series Data Quality via Dedicated Agentic Reasoning
Evaluar la calidad de los datos de series temporales (TS) es fundamental pero intrínsecamente difícil debido a la naturaleza multifacética de las dimensiones de calidad. Recientemente, los grandes modelos de lenguaje (LLM) han surgido como un paradigma prometedor para la evaluación de la calidad de TS mediante comparación por pares y evaluación por dimensión.
SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents
Los agentes LLM autoevolutivos han ganado protagonismo por su capacidad para mejorar después del despliegue mediante la modificación de su entorno, incluidas las instrucciones del controlador, los protocolos de gestión de memoria y las herramientas y habilidades reutilizables, en respuesta a los comentarios de los usuarios y del entorno. Sin embargo, las actualizaciones útiles a nivel local pueden persistir en tareas posteriores donde producen un comportamiento inseguro, incluso sin una influencia adversarial directa.
CST-Bench: Benchmarking Counterfactual Spatial Transition Reasoning with Causal Transition On-Policy Self-Distillation
El razonamiento espacial es una capacidad fundamental de los grandes modelos de lenguaje multimodales (MLLM), pero los puntos de referencia existentes se centran principalmente en la comprensión de escenas estáticas. Cuando los objetos se mueven o se intercambian, los modelos deben inferir no solo las relaciones espaciales, sino también cómo las intervenciones cambian el estado de la escena.
MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents
Los agentes de grandes modelos de lenguaje se despliegan cada vez más a través del Protocolo de Contexto de Modelo (MCP), que les permite descubrir e invocar herramientas en múltiples servidores en tiempo de ejecución. Los puntos de referencia de MCP existentes miden principalmente la finalización de tareas; cuando diagnostican fallos, lo hacen después de la ejecución en lugar de integrar riesgos específicos de fallos de razonamiento, ejecución y memoria en la construcción de la tarea.
MEvince: Knowledge-Constrained LLM Reasoning for Technique Identification from Malware Reports
Mapear la inteligencia conductual en los informes de análisis de malware a técnicas ATT&CK respalda el análisis de amenazas y la defensa, pero la identificación confiable sigue siendo un desafío. Las pruebas de apoyo a menudo se encuentran dispersas en informes largos y heterogéneos, mientras que las técnicas estrechamente relacionadas comparten señales de comportamiento y difieren solo en detalles sutiles pero decisivos.
Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models
Los grandes modelos de lenguaje (LLM) desplegados en entornos críticos para la seguridad deben resistir entradas adversarias diseñadas para provocar salidas dañinas. Presentamos una evaluación empírica sistemática de cinco familias de ataques de jailbreaking adversario —solicitudes directas, jailbreaking basado en juegos de rol, encuadre hipotético, anulación de instrucciones y ofuscación— en siete LLM de peso abierto alojados localmente: Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B y Phi-4-14B.