Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nueva investigación sobre IA y seguridad, seleccionada por su relevancia para modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes son palabras de los propios autores o de la editorial, con enlaces al original.
Revisado por pares
Improving molecular property prediction with score-based diffusion models
Nuevos preprints (aún no revisados por pares)
PrivacyPR: A Dataset of Real-World Privacy Fixes for Benchmarking Privacy-Aware Code Review
Los agentes de programación revisan código cada vez más, pero sigue sin evaluarse en gran medida si detectan los defectos de privacidad que leyes como el RGPD exigen evitar al software, en parte debido a que hay pocos conjuntos de datos que conecten los defectos reales de privacidad con sus correcciones aceptadas y el contexto de la revisión. Presentamos PrivacyPR, un conjunto de datos de 4.131 solicitudes de incorporación de cambios (PR) de GitHub fusionadas de 1.469 repositorios, creadas entre junio de 2018 y enero de 2024.
From Chats to Markets: AgenticPay for LLM-Powered Negotiation in Multi-Agent Commerce
Cada vez se espera más que los agentes de modelos de lenguaje grandes negocien y realicen transacciones de forma autónoma, aunque los bancos de pruebas actuales rara vez combinan la conexión a productos multimodales, la negociación sobre múltiples cuestiones y los mercados competitivos multiagente. Presentamos AgenticPay, un banco de pruebas unificado para evaluar la capacidad de los agentes multimodales para alcanzar acuerdos multidimensionales de alto bienestar en mercados realistas.
The Alignment Curse: Modality Alignment Supercharges Audio Attacks via Text Transfer
Los avances recientes en los modelos omni entrenados de extremo a extremo han mejorado sustancialmente las capacidades de audio al fortalecer la alineación de modalidades texto-audio. Sin embargo, no se ha explorado lo suficiente si dicha alineación facilita sin pretenderlo la transferencia de vulnerabilidades de seguridad entre modalidades.
Can LLMs Write Backdoors? An Empirical Security Study of Weight-Space Programming
Los avances recientes en la programación en el espacio de pesos (WSP) han demostrado que los grandes modelos de lenguaje (LLM) pueden inspeccionar y modificar directamente los pesos de las redes neuronales sin el entrenamiento convencional basado en gradientes. Si bien esta capacidad abre nuevas posibilidades para la mejora de modelos, también plantea una cuestión de seguridad importante: ¿pueden los LLM aprovechar la programación en el espacio de pesos para inyectar puertas traseras en las redes neuronales?
Training Language Model Agents to Find Vulnerabilities with CTF-Dojo
Los grandes modelos de lenguaje (LLM) han demostrado capacidades excepcionales cuando se entrenan dentro de entornos de ejecución ejecutables, destacando especialmente en tareas de ingeniería de software a través de bucles de retroalimentación verificados. Sin embargo, siguen escaseando los entornos basados en ejecuciones escalables y generalizables, lo que limita el progreso en el entrenamiento de agentes de aprendizaje automático más capaces.
REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming
Los grandes modelos de lenguaje (LLM) se aplican cada vez más a tareas de ingeniería inversa, y los informes recientes de inteligencia sobre amenazas muestran que operan dentro de flujos de trabajo de seguridad ofensiva activos. Sin embargo, las afirmaciones sobre su capacidad superan nuestra aptitud para medirla.
HackWorld: Evaluating Computer-Use Agents on Exploiting Web Application Vulnerabilities
Las aplicaciones web son objetivos principales para los ciberataques al ser pasarelas a servicios críticos y datos sensibles. Las pruebas de penetración tradicionales son costosas y requieren mucha experiencia, lo que dificulta su escalabilidad ante el creciente ecosistema web.
LLMs are Vulnerable to Malicious Requests with Indistinguishable Intent
Los ataques de fuga (jailbreak) pueden eludir los mecanismos de seguridad de los grandes modelos de lenguaje (LLM) y dar lugar a la generación de contenido dañino o que infringe las políticas. Primero examinamos ocho métodos de fuga frente a un filtro basado en LLM y observamos que las solicitudes que se asemejan a consultas de usuarios normales tienden a tener tasas de aprobación de filtros más altas que aquellas que contienen patrones anómalos obvios.
