Traduzido do inglês pela TechUpscale com ajuda de IA e verificado com o original. Ler o original em inglês
Novas pesquisas sobre IA e segurança, selecionadas por sua relevância para modelos de linguagem, agentes de IA e cibersegurança. Os resumos são as próprias palavras dos autores ou dos editores, vinculados ao original.
Revisão por pares
Melhorando a predição de propriedades moleculares com modelos de difusão baseados em pontuação
Novos pré-prints (ainda não revisados por pares)
PrivacyPR: Um Conjunto de Dados de Correções de Privacidade do Mundo Real para Avaliação de Revisão de Código Consciente de Privacidade
Agentes de codificação revisam código cada vez mais, mas se eles detectam os defeitos de privacidade que leis como o GDPR exigem que o software evite ainda está amplamente não testado, em parte porque poucos conjuntos de dados conectam defeitos reais de privacidade às suas correções aceitas e ao contexto de revisão. Apresentamos o PrivacyPR, um conjunto de dados com 4,131 pull requests (PRs) mesclados do GitHub de 1,469 repositórios, criado entre junho de 2018 e janeiro de 2024.
De Chats a Mercados: AgenticPay para Negociação Potenciada por LLM em Comércio Multiagente
Espera-se cada vez mais que agentes de grandes modelos de linguagem negociem e transacionem autonomamente, porém os benchmarks existentes raramente combinam fundamentação de produto multimodal, negociação de múltiplas questões e mercados competitivos multiagente. Introduzimos o AgenticPay, um benchmark unificado para avaliar a capacidade de agentes multimodais de alcançar acordos multidimensionais de alto bem‑estar em mercados realistas.
A Maldição do Alinhamento: Alinhamento de Modalidade Potencializa Ataques de Áudio via Transferência de Texto
Avanços recentes em omni‑modelos treinados de ponta a ponta melhoraram substancialmente as capacidades de áudio ao reforçar o alinhamento de modalidade texto‑áudio. No entanto, ainda não se sabe se esse alinhamento facilita inadvertidamente a transferência de vulnerabilidades de segurança entre modalidades.
LLMs podem escrever backdoors? Um Estudo Empírico de Segurança sobre Programação em Espaço de Pesos
Avanços recentes em programação em espaço de pesos (WSP) demonstraram que grandes modelos de linguagem (LLMs) podem inspecionar e modificar diretamente os pesos de redes neurais sem treinamento convencional baseado em gradiente. Embora essa capacidade abra novas possibilidades de aprimoramento de modelos, também levanta uma importante questão de segurança: LLMs podem explorar a programação em espaço de pesos para injetar backdoors em redes neurais?
Treinando Agentes de Modelo de Linguagem para Encontrar Vulnerabilidades com CTF-Dojo
Grandes modelos de linguagem (LLMs) demonstraram capacidades excepcionais quando treinados em ambientes de tempo de execução executáveis, destacando‑se particularmente em tarefas de engenharia de software por meio de ciclos de feedback verificados. No entanto, ambientes fundamentados em execução, escaláveis e generalizáveis, ainda são escassos, limitando o progresso no treinamento de agentes de ML mais capazes.
REFORGE: Um Método para Avaliar as Capacidades de Engenharia Reversa de LLMs na Nomeação de Funções Binárias Descompiladas
Grandes modelos de linguagem (LLMs) são cada vez mais aplicados a tarefas de engenharia reversa, e relatos recentes de inteligência de ameaças mostram seu uso em fluxos de trabalho de segurança ofensiva ao vivo. Contudo, as alegações sobre sua capacidade superam nossa habilidade de medi‑la.
HackWorld: Avaliando Agentes de Uso de Computador na Exploração de Vulnerabilidades de Aplicações Web
Aplicações web são alvos principais de ciberataques como portas de entrada para serviços críticos e dados sensíveis. Testes de penetração tradicionais são caros e exigem alta especialização, dificultando a escalabilidade diante do crescente ecossistema web.
LLMs são vulneráveis a solicitações maliciosas com intenção indistinguível
Ataques de jailbreak podem contornar os mecanismos de segurança de Grandes Modelos de Linguagem (LLMs) e levar à geração de conteúdo nocivo ou que viole políticas. Primeiro, examinamos oito métodos de jailbreak contra um filtro baseado em LLM e observamos que solicitações semelhantes a consultas normais de usuários tendem a ter taxas de aprovação de filtro mais altas do que aquelas contendo padrões anômalos óbvios.
