Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nuevas investigaciones sobre inteligencia artificial y seguridad, seleccionadas por su relevancia para los modelos de lenguaje, los agentes de IA y la ciberseguridad. Los resúmenes están en las propias palabras de los autores o del editor, con enlaces a los originales.
Revisado por pares
Un conjunto de datos de referencia de clasificación de documentos en el dominio de las políticas de ciberseguridad
DSIN: representación neuronal implícita potenciada por sistemas dinámicos para la compresión de imágenes médicas
Limitaciones de la secuenciación de péptidos de novo para resolver la ambigüedad de secuencia
Las universidades deben medir el aprendizaje, tanto con como sin la asistencia de la IA
Las incrustaciones de modelos fundacionales anclados al genoma mejoran la predicción molecular a partir de imágenes histológicas
Construcción de un modelo preentrenado para el análisis de ómicas individuales más allá de la selección de características altamente variables
Nuevos preprints (aún no revisados por pares)
MAS-Guard: Unified Guardrails from Individual Agents to Multi-Agent LLM Systems
La IA agéntica amplía los modelos grandes de lenguaje (LLM) desde la generación de respuestas hasta la planificación y ejecución de flujos de trabajo complejos, lo que expande sustancialmente su utilidad al tiempo que expone a las aplicaciones a acciones inseguras, fugas de información y manipulación adversarial. Los sistemas multiagente amplían aún más estas capacidades a través de la especialización y la colaboración, pero la autoridad distribuida, los roles heterogéneos y los participantes opacos o potencialmente comprometidos hacen que la protección sea aún más desafiante.
Benchmarking Classical and Quantum Machine Learning for Intrusion Detection Across Multiple Datasets
La detección de intrusiones se examina mediante un punto de referencia comparativo de modelos de aprendizaje automático clásico y cuántico en tres conjuntos de datos: NSL-KDD, UNSW-NB15 y MQTTEEB-D2025. El análisis se centra en cómo las decisiones de preprocesamiento, las estrategias de selección de características y los esquemas de codificación cuántica configuran el rendimiento del modelo en datos con distintos niveles de ruido y complejidad.
AgentCap: Capability-Based Runtime Authorization for Secure LLM Agent Execution
Los agentes basados en modelos de lenguaje suelen fusionar dos decisiones que los sistemas de seguridad separan: seleccionar una acción y determinar si dicha acción está autorizada. Cuando un modelo ejerce una autoridad permanente, la inyección indirecta de instrucciones puede convertir la influencia sobre su razonamiento en efectos no autorizados.
AgentTypo: Adaptive Typographic Prompt Injection Attacks against Black-box Multimodal Agents
Los agentes multimodales construidos sobre modelos grandes de visión y lenguaje se implementan cada vez más en entornos de mundo abierto, pero siguen siendo muy vulnerables a la inyección de instrucciones. Los ataques de texto tipográfico en imágenes, como FigStep, se han evaluado principalmente en modelos independientes de visión y lenguaje.
Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction
Los agentes de LLM compactan historiales largos para ajustarse a sus ventanas de contexto, pero el contexto compactado aún debe llevar las reglas operativas que rigen las acciones posteriores. Trabajos anteriores muestran que las infracciones aumentan después de la compactación, pero miden el cumplimiento fuera de un entorno de agente completo y no identifican de dónde proviene cada infracción.
How Safe Are AI-Generated Patches? A Large-scale Study on Security Risks in LLM and Agentic Automated Program Repair on SWE-bench
Los modelos grandes de lenguaje (LLM) y los marcos agénticos se utilizan cada vez más para tareas de desarrollo como la reparación automatizada de programas (APR). Trabajos anteriores han identificado riesgos de seguridad en el código generado por LLM, pero la mayoría de los estudios se centran en tareas sintéticas, simplificadas o aisladas.
Decentralized Multi-Agent Coordination and Communication in Shared Codebases
Los agentes de programación que trabajan en repositorios compartidos pueden recibir solicitudes separadas y motivadas de manera independiente por parte de desarrolladores humanos, lo que crea un entorno que es multiagente por necesidad. Cuando ocurre este escenario, sus implementaciones individuales pueden funcionar por separado pero entrar en conflicto al combinarse.
Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models
Los modelos grandes de lenguaje (LLM) implementados en entornos críticos para la seguridad deben resistir entradas adversariales diseñadas para provocar salidas dañinas. Presentamos una evaluación empírica sistemática de cinco familias de ataques de jailbreak adversarial —solicitudes directas, jailbreak basado en juegos de rol, encuadramiento hipotético, anulación de instrucciones y ofuscación— en siete LLM de pesos abiertos alojados localmente: Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B y Phi-4-14B.