Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nueva investigación sobre IA y seguridad, seleccionada por su relevancia para los modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes son palabras de los propios autores o de la editorial, con enlaces al original.
Revisado por pares
Directrices para evaluar métodos basados en la estructura para la predicción de la unión proteína-ligando
¿Puede sobrevivir la matemática a la IA? El medallista Fields Terence Tao pide un mundo de «Matemáticas 2.0»
Nuevos preprints (todavía no revisados por pares)
AgentPhishing: una prueba comparativa de agentes de correo electrónico de LLM bajo ataques adaptativos
Los agentes de uso informático manejan cada vez más información privada y actúan en nombre de los usuarios en aplicaciones de escritorio y web, incluido el correo electrónico. Por lo tanto, el phishing plantea riesgos de privacidad y seguridad que dependen no solo de si los agentes reconocen los mensajes maliciosos, sino también de cómo responden.
IA agéntica segura e inteligencia multimodal en sistemas de comunicación 6G
Se espera que los sistemas de comunicación de sexta generación (6G) admitan servicios inmersivos, orientados a la intención y críticos en cuanto al tiempo de respuesta mediante una estrecha integración de la inteligencia multimodal, la computación en el borde y el control de red autónomo. En este entorno, los sistemas de IA agéntica pueden razonar sobre entradas heterogéneas, utilizar herramientas y funciones de red, coordinarse entre entidades distribuidas y adaptarse a entornos dinámicos.
Mirage: jailbreaks dirigidos contra los verificadores de seguridad posteriores a la generación en modelos de difusión multimodales
Los verificadores de seguridad posteriores a la generación se emplean ampliamente en las canalizaciones de modelos de difusión para evitar que el contenido generado no seguro llegue a los usuarios. En este artículo, demostramos que estos verificadores de seguridad aún pueden ser eludidos por nuestro ataque de jailbreak multimodal propuesto, Mirage.
PhishGen: comprensión de las capacidades de los LLM en la generación automatizada de sitios web de phishing
El phishing se basa en el engaño visual, que tradicionalmente requiere habilidades de desarrollo web o kits preconstruidos. Los LLM erosionan esta barrera al generar sitios web funcionales a partir de indicaciones en lenguaje natural, pero los trabajos anteriores no responden hasta dónde llega realmente la generación impulsada por LLM: la funcionalidad se evalúa mediante inspección en lugar de ejecución; la fidelidad visual se califica mediante métricas automatizadas o unos pocos programadores internos en lugar de los humanos a los que esas páginas pretenden engañar; la evaluación se limita a modelos comerciales; y ningún estudio compara las páginas generadas con kits de phishing desplegados en la naturaleza.
MPIDetector: detección de inyecciones de comandos multimodales mediante razonamiento basado en LLM
Con la rápida integración de los grandes modelos de lenguaje multimodales (MLLM) en aplicaciones del mundo real, la inyección de comandos (PI) se ha convertido en una amenaza de seguridad crítica. Los atacantes pueden ocultar instrucciones maliciosas dentro de narraciones textuales o entradas visuales para eludir la alineación de seguridad.
SecLog-Bench: una prueba comparativa escalable para el razonamiento de registros de ciberseguridad con evidencia estructurada
Los grandes modelos de lenguaje (LLM) han demostrado un gran potencial para la ciberseguridad, lo que ha generado un creciente interés en el análisis automatizado de registros de ciberseguridad basado en LLM. Sin embargo, los conjuntos de datos actuales (1) son de escala limitada; (2) se basan principalmente en evidencia de una sola fuente; y (3) solo tienen etiquetas de ataque binarias o multiclase, sin anotaciones densas del proceso de razonamiento.
PLE: el examen final de la ingeniería física
Los modelos de lenguaje de vanguardia ahora obtienen puntuaciones superiores al 90 % en las pruebas comparativas de conocimiento populares y se implementan cada vez más como agentes que realizan trabajos profesionales de varias horas. Sin embargo, ninguna prueba comparativa existente evalúa si pueden realizar el trabajo real y de valor económico de un ingeniero físico profesional, como modelar la física y los requisitos de códigos legales en un corpus de proyectos de múltiples formatos, optimizar los costos de materiales e instalación, y emitir paquetes de diseño de ingeniería en 2D/3D que un revisor autorizado aprobaría.
La divulgación engendra divulgación: un bucle de privacidad autorreforzado en agentes de LLM con memoria persistente
Los agentes de grandes modelos de lenguaje (LLM) utilizan cada vez más la memoria persistente para personalizar las respuestas, y los atributos personales en esta memoria plantean un riesgo de privacidad si se exponen. Nos preguntamos cómo la consulta de la memoria durante el diálogo cambia lo que los usuarios dicen a continuación y, por lo tanto, lo que la memoria llega a revelar.