Traduzido do inglês pela TechUpscale com ajuda de IA e verificado com o original. Ler o original em inglês
Nova pesquisa sobre IA e segurança, selecionada pela relevância para modelos de linguagem, agentes de IA e cibersegurança. Os resumos são das próprias palavras dos autores ou da editora, com links para o original.
Revisado por pares
Supervisionar o processo de pesquisa produz agentes de busca de informações confiáveis e generalizáveis
Novos pré-prints (ainda não revisados por pares)
PrivacyEvalClaw: Um Agente Deliberativo Aumentado por Ferramentas para Auditar Vazamentos de Privacidade em Respostas de Jailbreak de LLMs
A avaliação confiável é um gargalo crítico no red-teaming de privacidade de grandes modelos de linguagem (LLMs): determinar se uma resposta de jailbreak realmente revela informações pessoais pode ser difícil quando as divulgações são indiretas, contextuais, parciais ou ofuscadas. As abordagens de avaliação existentes dependem cada vez mais de modelos de proteção e LLMs como Juízes (LLM-as-Judges), mas esses avaliadores podem interpretar a mesma resposta de maneira diferente.
LM-DSB: Um Sistema Multi-agente Leve para Geração Automatizada de Boletins Diários de Segurança na Construção Civil
A gestão de segurança na construção civil ainda luta para produzir boletins diários de segurança (DSBs), comunicações diárias estruturadas que identificam perigos específicos do local, transmitem protocolos de segurança e definem medidas preventivas para os trabalhadores. A criação manual de DSBs leva de 2 a 3 horas diárias e produz qualidade inconsistente, com 25% das equipes nunca realizando o planejamento pré-tarefa (Olson et al., 2016), desviando o pessoal de segurança da supervisão de campo.
RouteDRAG: Aprendendo a Rotear e Controlar a Execução Agêntica para RAG de Documentos Multimodais
As aplicações baseadas na Web dependem cada vez mais da compreensão de documentos multimodais longos, onde responder a perguntas muitas vezes requer a combinação de informações em várias páginas, tabelas e figuras. A geração aumentada por recuperação agêntica aborda essas tarefas por meio de recuperação e raciocínio iterativos.
AgentSentry: Mitigando a Injeção de Prompt Indireta em Agentes de LLM por meio de Diagnósticos Causais Temporais e Purificação de Contexto
Agentes de grandes modelos de linguagem (LLM) aumentados por ferramentas agregam histórico de diálogos, saídas de ferramentas e conteúdo recuperado em um estado de execução acumulado para concluir tarefas em várias etapas. Esse modelo de execução expõe os agentes a ataques de injeção de prompt indireta (IPI), nos quais instruções controladas pelo invasor incorporadas em artefatos externos entram no estado do agente e posteriormente influenciam o uso de ferramentas.
RHINO: Raciocínio Guiado para Mapear Logs de Rede para Táticas e Técnicas Adversariais com Grandes Modelos de Linguagem
Os Sistemas Modernos de Detecção de Intrusão em Rede (NIDS) geram vastos volumes de alertas de baixo nível que permanecem semanticamente fragmentados, exigindo correlação manual trabalhosa com comportamentos de adversários de alto nível. A automação existente, nomeadamente sistemas baseados em regras e classificadores de aprendizado de máquina, tem limitações críticas: as abordagens baseadas em regras falham em se adaptar a novas variações de ataques, enquanto os métodos de aprendizado de máquina carecem de consciência contextual e tratam o mapeamento de tática-técnica (TT) como correspondência sintática em vez de raciocínio.
Rastreando a Cascata: Uma Estrutura de Avaliação Ciente da Topologia para Alucinações de Agentes Científicos
Agentes de grandes modelos de linguagem (LLM) são cada vez mais implantados em pesquisas científicas, onde a confiabilidade é crítica e o conhecimento subjacente é densamente interconectado. Nessas configurações, as alucinações são particularmente prejudiciais: uma única afirmação errônea sobre um conceito fundamental pode se propagar por meio de raciocínio em várias etapas e corromper trajetórias inteiras.
OA-RAG: RAG Agêntico Baseado em Ontologia para Raciocínio Fidedigno de LLMs
Os grandes modelos de linguagem (LLMs) têm um bom desempenho em muitas tarefas do mundo real, mas continuam sujeitos a alucinações, limitando sua confiabilidade em domínios como a biomedicina e a saúde, onde as respostas devem ser baseadas em conhecimento estabelecido. A geração aumentada por recuperação (RAG) mitiga esse problema incorporando informações externas, mas muitas vezes negligencia as relações lógicas e depende fortemente do próprio raciocínio da LLM, o que pode comprometer a fidedignidade da resposta.
MAREval: Uma Estrutura Multi-agente para Avaliar Explicações de Recomendações em Linguagem Natural
A avaliação de explicações em linguagem natural em sistemas de recomendação é essencial para promover a confiança, a transparência e o engajamento do usuário. No entanto, as abordagens de avaliação existentes, como as avaliações humanas, embora precisas, consomem muitos recursos e são impraticáveis na escala exigida pelas plataformas de recomendação modernas.