Traducido del inglés por TechUpscale con ayuda de IA y verificado con el original. Leer el original en inglés
Nueva investigación sobre IA y seguridad, seleccionada por su relevancia para modelos de lenguaje, agentes de IA y ciberseguridad. Los resúmenes son palabras de los autores o del editor, con enlaces al original.
Revisados por pares
Agentic intelligent data engine for scientific large language models
AI agents enter the ‘wet lab’
AI agents run this automated biology lab that sequences DNA and more
An open structure-guided RNA foundation model for generalizable prediction
An AI-native experimental laboratory for autonomous biomolecular operations
Nuevos preprints (aún no revisados por pares)
LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments
La rápida proliferación de agentes autónomos basados en LLM en entornos de sistemas operativos reales introduce una nueva categoría de riesgo de seguridad más allá de la seguridad de contenidos: el jailbreak de comportamiento, donde un adversario induce a un agente a ejecutar operaciones peligrosas a nivel de SO con consecuencias irreversibles. Los benchmarks existentes evalúan la seguridad únicamente en la capa semántica, pasando por alto los daños en la capa física, o no logran aislar los casos de prueba, permitiendo que ejecuciones anteriores contaminen las posteriores.
UpSafe$^circ$C: Upcycling for Controllable Safety in Large Language Models
Los grandes modelos de lenguaje (LLM) han logrado un progreso notable en una amplia gama de tareas, pero siguen siendo vulnerables a riesgos de seguridad como la generación de contenido dañino y los ataques de jailbreak. Las técnicas de seguridad existentes —que incluyen barreras de protección externas, orientación en tiempo de inferencia y alineación posterior al entrenamiento— se enfrentan a limitaciones para equilibrar la seguridad, la utilidad y la capacidad de control.
UpSafe$^circ$C: Upcycling for Controllable Safety in Large Language Models
Los grandes modelos de lenguaje (LLM) han logrado un progreso notable en una amplia gama de tareas, pero siguen siendo vulnerables a riesgos de seguridad como la generación de contenido dañino y los ataques de jailbreak. Las técnicas de seguridad existentes —que incluyen barreras de protección externas, orientación en tiempo de inferencia y alineación posterior al entrenamiento— se enfrentan a limitaciones para equilibrar la seguridad, la utilidad y la capacidad de control.
From Lab to Reality: A Practical Evaluation of Deep Learning Models and LLMs for Vulnerability Detection
Los métodos de detección de vulnerabilidades basados en aprendizaje profundo (DL) han mostrado un fuerte rendimiento en conjuntos de datos de referencia, aunque su eficacia en el mundo real sigue estando poco explorada. Trabajos recientes sugieren que los modelos basados en redes neuronales de grafos y en transformadores, incluidos los grandes modelos de lenguaje (LLM), producen resultados prometedores al evaluarse en conjuntos de datos de referencia seleccionados.
Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models
Los grandes modelos de lenguaje (LLM) se someten a una alineación de seguridad para evitar generaciones dañinas, pero siguen siendo vulnerables a ataques de jailbreak. Trabajos recientes revelan una debilidad estructural más profunda: la alineación de seguridad puede ser altamente dispersa, de modo que podar un número pequeño de neuronas críticas para la seguridad o ablacionar una única dirección de rechazo puede socavar sustancialmente el comportamiento alineado.
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
Los grandes modelos de lenguaje (LLM) se utilizan cada vez más para la generación de código, lo que genera preocupación de que puedan ser mal utilizados para producir código malicioso. Mientras tanto, la decodificación restringida por gramática (GCD) ha sido ampliamente adoptada para mejorar la fiabilidad del código generado por LLM al hacer cumplir la validez sintáctica.
Rethinking Reasoning: A Survey on Reasoning-based Backdoors in LLMs
Con el auge de las capacidades de razonamiento avanzado, los grandes modelos de lenguaje (LLM) están recibiendo cada vez más atención. Sin embargo, aunque el razonamiento mejora el rendimiento de los LLM en tareas posteriores, también introduce nuevos riesgos de seguridad, ya que los adversarios pueden explotar estas capacidades para llevar a cabo ataques de puerta trasera.
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Los ataques de jailbreak siguen siendo una amenaza fundamental para el despliegue seguro de los grandes modelos de lenguaje (LLM). Si bien trabajos anteriores han estudiado principalmente los ataques y las defensas a nivel de aviso, demostramos que este paradigma centrado en los avisos pasa por alto una vulnerabilidad estructural en entornos con estado que realizan llamadas a funciones.