Traduzido do inglês pela TechUpscale com ajuda de IA e verificado com o original. Ler o original em inglês
Novas pesquisas sobre IA e segurança, selecionadas pela relevância para modelos de linguagem, agentes de IA e cibersegurança. Os resumos usam as próprias palavras dos autores ou editores, com links para os originais.
Novos preprints (ainda não revisados por pares)
Proteção Sensível à Intenção para Agentes de IA
Os agentes de IA acessam cada vez mais dados empresariais, invocam ferramentas poderosas e atuam com supervisão humana limitada. As defesas de segurança existentes detectam primariamente injeção de prompt, saídas prejudiciais ou comportamento suspeito, mas não determinam se um agente permanece fiel ao propósito para o qual foi implantado.
Da Delegação à Coordenação: Aprendendo Pesquisa Profunda Multiagente Eficiente
Os sistemas de pesquisa profunda multiagente usam a delegação para paralelizar a busca e manter rastros longos de ferramentas fora do contexto do agente principal. No entanto, a delegação só ajuda quando a alocação de tarefas e a execução de subtarefas estão coordenadas: o agente principal deve emitir subtarefas úteis, enquanto os subagentes devem retornar evidências confiáveis.
Bait: Mitigando a Aprendizagem por Reforço Agêntica Prejudicial via Sondagem da Função de Recompensa
Expomos uma vulnerabilidade de segurança na nascente aprendizagem por reforço agêntica como serviço. Especificamente, com um custo tão baixo quanto $20, mostramos que o alinhamento de segurança de um grande modelo de linguagem (por exemplo, Inkling) pode ser completamente subvertido por meio de rodadas de aprendizagem por reforço agêntica (RL agêntica) prejudicial com um ambiente tóxico de seus usuários.
Avaliação de Segurança Baseada em Especificações da Chamada de Ferramentas por Agentes do Mundo Real em Tarefas de Contexto de Longo Alcance
À medida que os agentes de grandes modelos de linguagem (LLM) são cada vez mais implantados em cenários não supervisionados de longo alcance, a avaliação de segurança desses agentes antes da implantação torna-se cada vez mais essencial e desafiadora. Os métodos de avaliação existentes seguem principalmente os paradigmas de LLM-como-Juiz ou Agente-como-Juiz.
CellularS2-Bench: Um Benchmark Estagiado e Baseado em Evidências para Raciocínio de Segurança em Redes Celulares
As redes celulares são infraestruturas críticas que atendem a bilhões de usuários em todo o mundo e a serviços críticos para a segurança e para missões. As vulnerabilidades nas redes celulares podem, portanto, causar interrupção de serviços, violações de privacidade e amplos danos à sociedade, motivando crescentes esforços para analisar as especificações 3GPP que definem o comportamento exigido de dispositivos e operadoras.
BELLS-O: Avaliando as Compensações Operacionais dos Sistemas de Supervisão de LLM
Os sistemas de supervisão de LLM, nomeadamente filtros de moderação de entrada/saída e detectores de jailbreak, são a principal salvaguarda contra o uso indevido em aplicações de IA implantadas, no entanto, os benchmarks existentes são frequentemente tendenciosos em relação a fornecedores, omitem custo e latência, e raramente comparam salvaguardas especializadas com LLMs generalistas reaproveitados. Apresentamos o BELLS-O (Benchmark for the Evaluation of LLM Supervision Systems, Operational), um benchmark operacional independente que avalia 33 sistemas de 17 desenvolvedores: salvaguardas especializadas (por exemplo, Llama Guard 4, ShieldGemma-2B, Lakera Guard) e generalistas de ponta reaproveitados como supervisores (por exemplo, GPT-5.4, Claude Sonnet 4.6, Grok 4.1 Fast), conjuntamente quanto à taxa de detecção, taxa de falsos positivos, latência e custo.
SynthCorp: Uma Plataforma para Criar Benchmarks para Agentes de Dados
Os benchmarks atuais para agentes de dados baseados em LLM saturam rapidamente e não conseguem focar em capacidades específicas. Apresentamos o SynthCorp, uma plataforma que cria ecossistemas de dados e benchmarks personalizáveis ao simular como eventos de negócios produzem e modificam dados corporativos ao longo do tempo.
Beyond the Diff – VulSpot: Um Conjunto de Dados de Vulnerabilidades Onde Nenhuma Vulnerabilidade Fica Sem Localização
Um detector de vulnerabilidades é apenas tão confiável quanto o benchmark que o avalia, e os conjuntos de dados do mundo real de hoje tendem a favorecer os detectores. Eles são frequentemente criados uma única vez e nunca atualizados, por isso deixam rapidamente de identificar novas vulnerabilidades, seus rótulos são ruidosos ou fortemente filtrados, e suas divisões aleatórias permitem que os modelos sejam treinados com cópias quase idênticas do código de teste e com vulnerabilidades futuras.
