Traduzido do inglês pela TechUpscale com ajuda de IA e verificado com o original. Ler o original em inglês
Novas pesquisas sobre IA e segurança, selecionadas pela relevância para modelos de linguagem, agentes de IA e cibersegurança. Os resumos são das próprias palavras dos autores ou da editora, com links para o original.
Revisados por pares
Diretrizes para a avaliação de métodos baseados em estrutura para a predição de ligação proteína-ligante
A matemática pode sobreviver à IA? O medalhista Fields Terence Tao clama por um mundo de ‘Matemática 2.0’
Novos preprints (ainda não revisados por pares)
AgentPhishing: Um benchmark de agentes de e-mail de LLM sob ataque adaptativo
Agentes de uso de computador lidam cada vez mais com informações privadas e agem em nome dos usuários em aplicativos de desktop e web, incluindo e-mail. Portanto, o phishing apresenta riscos de privacidade e segurança que dependem não apenas de os agentes reconhecerem mensagens maliciosas, mas também de como eles respondem.
IA agêntica segura e inteligência multimodal em sistemas de comunicação 6G
Espera-se que os sistemas de comunicação de sexta geração (6G) suportem serviços imersivos, orientados por intenção e críticos em termos de latência por meio da integração estreita de inteligência multimodal, computação de borda e controle de rede autônomo. Nesse cenário, os sistemas de IA agêntica podem raciocinar sobre entradas heterogêneas, usar ferramentas e funções de rede, coordenar entre entidades distribuídas e adaptar-se a ambientes dinâmicos.
Mirage: Jailbreaks direcionados contra verificadores de segurança pós-geração em modelos de difusão multimodal
Os verificadores de segurança pós-geração são amplamente empregados em pipelines de modelos de difusão para evitar que conteúdo gerado inseguro chegue aos usuários. Neste artigo, mostramos que esses verificadores de segurança ainda podem ser contornados pelo nosso ataque de jailbreak multimodal proposto, Mirage.
PhishGen: Compreendendo as capacidades de LLMs na geração automatizada de sites de phishing
O phishing baseia-se no engano visual, exigindo tradicionalmente habilidades de desenvolvimento Web ou kits pré-construídos. As LLMs corroem essa barreira gerando sites funcionais a partir de comandos em linguagem natural, mas trabalhos anteriores não respondem até onde a geração impulsionada por LLM realmente chega: a funcionalidade é avaliada por inspeção em vez de execução; a fidelidade visual é pontuada por métricas automatizadas ou alguns codificadores internos em vez dos humanos que essas páginas visam enganar; a avaliação é confinada a modelos comerciais; e nenhum estudo compara as páginas geradas com kits de phishing implantados na natureza.
MPIDetector: Detectando injeção de prompt multimodal por meio de raciocínio baseado em LLM
Com a rápida integração de Grandes Modelos de Linguagem Multimodais (MLLMs) em aplicações do mundo real, a Injeção de Prompt (PI) emergiu como uma ameaça crítica à segurança. Os atacantes podem ocultar instruções maliciosas dentro de narrativas textuais ou entradas visuais para contornar o alinhamento de segurança.
SecLog-Bench: Um benchmark escalável para raciocínio de logs de cibersegurança com evidências estruturadas
Grandes modelos de linguagem (LLMs) mostraram forte potencial para a cibersegurança, levando a um interesse crescente na análise automatizada de logs de cibersegurança baseada em LLM. No entanto, os conjuntos de dados atuais (1) são limitados em escala; (2) dependem principalmente de evidências de fonte única; e (3) possuem apenas rótulos de ataque binários ou multiclasse, sem anotações densas do processo de raciocínio.
PLE: O último exame de engenharia física
Os modelos de linguagem de fronteira agora pontuam acima de 90% em benchmarks de conhecimento populares e são cada vez mais implantados como agentes que realizam trabalho profissional de várias horas. No entanto, nenhum benchmark existente testa se eles podem realizar o trabalho real e economicamente valioso de um engenheiro físico profissional, como modelar a física e os requisitos de códigos legais em um corpus de projeto em vários formatos, otimizar custos de materiais e instalação, e emitir pacotes de projeto de engenharia 2D/3D que um revisor licenciado aprovaria.
A divulgação gera divulgação: Um ciclo de privacidade autorreforçador em agentes de LLM com memória persistente
Agentes de grandes modelos de linguagem (LLM) usam cada vez mais memória persistente para personalizar respostas, e os atributos pessoais nessa memória representam um risco de privacidade se expostos. Perguntamos como a consulta à memória durante o diálogo altera o que os usuários continuam a dizer e, portanto, o que a memória passa a revelar.