Traduzido do inglês pela TechUpscale com ajuda de IA e verificado com o original. Ler o original em inglês
Novas pesquisas sobre IA e segurança, selecionadas pela relevância para modelos de linguagem, agentes de IA e cibersegurança. Os resumos são das próprias palavras dos autores ou da editora, com links para o original.
Revisados por pares
Agentic intelligent data engine for scientific large language models
AI agents enter the ‘wet lab’
AI agents run this automated biology lab that sequences DNA and more
An open structure-guided RNA foundation model for generalizable prediction
An AI-native experimental laboratory for autonomous biomolecular operations
Novas pré-publicações (ainda não revisadas por pares)
LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments
A rápida proliferação de agentes autônomos baseados em LLM em ambientes de sistemas operacionais reais introduz uma nova categoria de risco de segurança além da segurança de conteúdo: o jailbreak comportamental, em que um adversário induz um agente a executar operações perigosas em nível de SO com consequências irreversíveis. Os benchmarks existentes avaliam a segurança apenas na camada semântica, perdendo danos na camada física, ou falham em isolar casos de teste, permitindo que execuções anteriores contaminem as posteriores.
UpSafe$^circ$C: Upcycling for Controllable Safety in Large Language Models
Grandes Modelos de Linguagem (LLMs) alcançaram um progresso notável em uma ampla gama de tarefas, mas continuam vulneráveis a riscos de segurança, como geração de conteúdo nocivo e ataques de jailbreak. As técnicas de segurança existentes — incluindo guardrails externos, orientação em tempo de inferência e alinhamento pós-treinamento — enfrentam limitações para equilibrar segurança, utilidade e controlabilidade.
UpSafe$^circ$C: Upcycling for Controllable Safety in Large Language Models
Grandes Modelos de Linguagem (LLMs) alcançaram um progresso notável em uma ampla gama de tarefas, mas continuam vulneráveis a riscos de segurança, como geração de conteúdo nocivo e ataques de jailbreak. As técnicas de segurança existentes — incluindo guardrails externos, orientação em tempo de inferência e alinhamento pós-treinamento — enfrentam limitações para equilibrar segurança, utilidade e controlabilidade.
From Lab to Reality: A Practical Evaluation of Deep Learning Models and LLMs for Vulnerability Detection
Os métodos de detecção de vulnerabilidades baseados em aprendizado profundo (DL) mostraram forte desempenho em conjuntos de dados de benchmark, mas sua eficácia no mundo real permanece pouco explorada. Trabalhos recentes sugerem que modelos baseados em redes neurais de grafos e em transformadores, incluindo grandes modelos de linguagem (LLMs), produzem resultados promissores quando avaliados em conjuntos de dados de benchmark curados.
Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models
Grandes modelos de linguagem (LLMs) passam por alinhamento de segurança para evitar gerações nocivas, mas ainda permanecem vulneráveis a ataques de jailbreak. Trabalhos recentes revelam uma fraqueza estrutural mais profunda: o alinhamento de segurança pode ser altamente esparso, de modo que podar um pequeno número de neurônios críticos para a segurança ou abladar uma única direção de recusa pode prejudicar substancialmente o comportamento alinhado.
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
Grandes Modelos de Linguagem (LLMs) são cada vez mais usados para geração de código, levantando preocupações de que possam ser mal utilizados para produzir código malicioso. Enquanto isso, a Decodificação Restrita por Gramática (GCD) tem sido amplamente adotada para melhorar a confiabilidade do código gerado por LLM, impondo validade sintática.
Rethinking Reasoning: A Survey on Reasoning-based Backdoors in LLMs
Com o surgimento de recursos avançados de raciocínio, os grandes modelos de linguagem (LLMs) estão recebendo cada vez mais atenção. No entanto, embora o raciocínio melhore o desempenho dos LLMs em tarefas posteriores, ele também introduz novos riscos de segurança, já que os adversários podem explorar esses recursos para realizar ataques de backdoor.
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Ataques de jailbreak continuam a ser uma ameaça crítica para a implantação segura de grandes modelos de linguagem (LLMs). Embora trabalhos anteriores tenham estudado principalmente ataques e defesas no nível de prompt, mostramos que esse paradigma centrado em prompt negligencia uma vulnerabilidade estrutural em ambientes com estado e de chamada de funções.