Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nuevas investigaciones sobre IA y seguridad, seleccionadas por su relevancia para modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes corresponden a las propias palabras de los autores o de la editorial, enlazados al original.
Revisados por pares
Machine learning dataset and benchmark for accurate T cell receptor–pHLA binding prediction
Development of an automated method for audiometric data extraction and analysis using voting optical character recognition
Emergence of diffusion models from associative memory through memorization and generalization
Nuevos preprints (aún no revisados por pares)
WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents
Los agentes web impulsados por modelos de visión-lenguaje (VLM) permiten la interacción autónoma con entornos web al percibir y actuar sobre el contenido visual y textual de las páginas web para cumplir con las tareas especificadas por el usuario. Sin embargo, son altamente vulnerables a ataques de inyección de instrucciones, donde las instrucciones adversarias integradas en HTML o capturas de pantalla renderizadas pueden manipular el comportamiento del agente y provocar resultados dañinos como la filtración de información.
Do AI-for-Science Agents Preserve Model Safety?
Los agentes de IA para la ciencia se utilizan cada vez más para formular hipótesis científicas, ejecutar experimentos autónomos e interpretar evidencias. Estos agentes se construyen integrando un modelo de lenguaje grande (LLM) en un arnés de agente específico de dominio, lo que a su vez puede mejorar la capacidad científica del LLM y permitir que el modelo orqueste herramientas científicas.
Quantum Cadence: Post-Quantum Consensus with Multiple Concurrent Proposers
Los protocolos de consenso de la mayoría de las cadenas de bloques de alto rendimiento utilizan certificados de cuórum, que agrupan las firmas de un cuórum de validadores. Los esquemas de firmas como BLS pueden agregar las firmas de todo un cuórum en una sola firma corta, lo que mantiene estos certificados pequeños.
Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability
Los avances en los modelos de lenguaje grandes omnimodales (OLLM) han permitido una interacción entre humanos e IA cada vez más fluida, pero su procesamiento unificado de modalidades heterogéneas también amplía la superficie de ataque, permitiendo a los adversarios explotar composiciones de entrada más ricas para eludir la alineación de seguridad. Para contrarrestar tales riesgos, se han propuesto barreras de protección omnimodales para detectar y filtrar consultas inseguras en modalidades arbitrarias.
Knowing Whom to Trust is not Enough: The Trust–Agreement Gap in Repeated Multi-Party LLM Negotiation
Los agentes de modelos de lenguaje grandes (LLM) participan cada vez más en negociaciones en nombre de individuos y organizaciones, pero siguen siendo vulnerables a la manipulación, particularmente en interacciones repetidas entre múltiples partes. Los sistemas multiagente clásicos abordan este desafío mediante modelos explícitos de confianza y reputación, mientras que el trabajo existente sobre negociación de LLM trata en gran medida la confianza como un fenómeno emergente.
The Helpful Agent Problem: When Emergent Cooperation Among LLM Agents Bypasses Intended Workflows
Los agentes de LLM se implementan cada vez más en entornos colaborativos donde persiguen tareas separadas mientras comparten recursos y operan bajo procesos de revisión o supervisión. Dichos entornos crean riesgos de seguridad no solo cuando los agentes son maliciosos, sino también cuando simplemente intentan ayudar.
Safe at One Loop, Risky at Another: Aligning Safety Across Recurrent Depths in Looped Language Models
Los modelos de lenguaje en bucle (LoopLM) proporcionan un enfoque eficiente en parámetros para escalar las capacidades del modelo mediante el uso repetido de parámetros compartidos en pasos recurrentes. Dado que cada profundidad recurrente se puede leer de forma independiente, un solo LoopLM expone un espacio de salida más amplio a través de las profundidades de inferencia, lo que plantea una pregunta importante: si la seguridad se preserva durante todo el cálculo recurrente.
On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection
Los puntos de referencia de inyección de instrucciones evalúan si los modelos de lenguaje grandes (LLM) y los agentes resisten las instrucciones maliciosas integradas en contenido externo. Sin embargo, un sistema podría funcionar bien al rechazar ataques que obviamente abandonan la solicitud del usuario, al tiempo que acepta cambios que conservan la mayor parte de una respuesta legítima pero la hacen incorrecta o dañina.