Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nuevas investigaciones sobre inteligencia artificial y seguridad, seleccionadas por su relevancia para modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes son palabras de los propios autores o de la editorial, con enlaces a los originales.
Revisados por pares
Supervising the search process produces reliable and generalizable information-seeking agents
Nuevos preprints (aún no revisados por pares)
PrivacyEvalClaw: A Tool-Augmented Deliberative Agent for Auditing Privacy Leakage in LLM Jailbreak Responses
Una evaluación fiable es un cuello de botella fundamental en las pruebas de resistencia de privacidad de los grandes modelos de lenguaje (LLM): determinar si una respuesta de jailbreak revela realmente información personal puede resultar difícil cuando las revelaciones son indirectas, contextuales, parciales u ofuscadas. Los enfoques de evaluación existentes dependen cada vez más de modelos de guardia y de LLM como jueces, pero estos evaluadores pueden interpretar la misma respuesta de manera diferente.
LM-DSB: A Lightweight Multi-agent System for Automated Daily Safety Bulletin Generation in Construction
La gestión de la seguridad en la construcción todavía lucha por producir boletines de seguridad diarios (DSB, por sus siglas en inglés), comunicaciones diarias estructuradas que identifican peligros específicos del sitio, transmiten protocolos de seguridad y establecen medidas preventivas para los trabajadores. La creación manual de DSB toma entre 2 y 3 horas diarias y produce una calidad inconsistente; el 25% de las cuadrillas nunca realiza una planificación previa a las tareas (Olson et al., 2016), lo que distrae al personal de seguridad de la supervisión en campo.
RouteDRAG: Learning to Route and Control Agentic Execution for Multimodal Document RAG
Las aplicaciones basadas en web dependen cada vez más de la comprensión de documentos multimodales largos, donde responder preguntas a menudo requiere combinar información en páginas, tablas y figuras. La generación aumentada por recuperación basada en agentes aborda estas tareas mediante la recuperación iterativa y el razonamiento.
AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification
Los agentes de grandes modelos de lenguaje (LLM) aumentados con herramientas agrupan el historial de diálogo, las salidas de las herramientas y el contenido recuperado en un estado de ejecución acumulado para completar tareas de varios pasos. Este modelo de ejecución expone a los agentes a ataques de inyección de instrucciones indirecta (IPI), en los cuales instrucciones controladas por atacantes integradas en artefactos externos ingresan al estado del agente y luego influyen en el uso de las herramientas.
RHINO: Guided Reasoning for Mapping Network Logs to Adversarial Tactics and Techniques with Large Language Models
Los sistemas modernos de detección de intrusiones en redes (NIDS) generan grandes volúmenes de alertas de bajo nivel que permanecen fragmentadas semánticamente, lo que requiere una correlación manual que demanda mucho trabajo con comportamientos adversarios de alto nivel. La automatización existente, es decir, los sistemas basados en reglas y los clasificadores de aprendizaje automático, tiene limitaciones críticas: los enfoques basados en reglas no logran adaptarse a variaciones de ataques novedosas, mientras que los métodos de aprendizaje automático carecen de conciencia contextual y tratan el mapeo de tácticas y técnicas (TT) como una coincidencia sintáctica en lugar de un razonamiento.
Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations
Los agentes de grandes modelos de lenguaje (LLM) se implementan cada vez más en la investigación científica, donde la fiabilidad es fundamental y el conocimiento subyacente está densamente interconectado. En tales entornos, las alucinaciones son particularmente dañinas: una sola afirmación errónea sobre un concepto fundamental puede propagarse a través de un razonamiento de múltiples pasos y corromper trayectorias enteras.
OA-RAG: Ontology-based Agentic RAG for Faithful LLM Reasoning
Los grandes modelos de lenguaje (LLM) funcionan bien en muchas tareas del mundo real, pero siguen siendo propensos a las alucinaciones, lo que limita su fiabilidad en dominios como la biomedicina y la atención médica, donde las respuestas deben basarse en conocimientos establecidos. La generación aumentada por recuperación (RAG) mitiga este problema al incorporar información externa, pero a menudo pasa por alto las relaciones lógicas y depende en gran medida del razonamiento propio del LLM, lo que puede comprometer la fidelidad de la respuesta.
MAREval: A Multi-Agent Framework for Evaluating Natural Language Recommendation Explanations
Evaluar las explicaciones en lenguaje natural en los sistemas de recomendación es esencial para fomentar la confianza, la transparencia y el compromiso del usuario. Sin embargo, los enfoques de evaluación existentes, como las evaluaciones humanas, aunque precisas, consumen muchos recursos y no son prácticos a la escala requerida por las plataformas de recomendación modernas.