Traduzido do inglês pela TechUpscale com ajuda de IA e verificado com o original. Ler o original em inglês
Novas pesquisas sobre IA e segurança, selecionadas pela relevância para modelos de linguagem, agentes de IA e segurança cibernética. Os resumos são das próprias palavras dos autores ou da editora, com links para o original.
Revisado por pares
A document classification benchmark dataset on cybersecurity policy domain
DSIN: dynamic system-empowered implicit neural representation for medical image compression
Limitations of de novo peptide sequencing in resolving sequence ambiguity
Universities must measure learning, both with and without AI assistance
Genome-anchored foundation model embeddings improve molecular prediction from histology images
Building a pre-trained model for single-cell multi-omics analysis beyond highly variable feature selection
Novas pré-impressões (ainda não revisadas por pares)
MAS-Guard: Unified Guardrails from Individual Agents to Multi-Agent LLM Systems
A IA baseada em agentes estende os grandes modelos de linguagem (LLMs) da geração de respostas para o planejamento e execução de fluxos de trabalho complexos, expandindo substancialmente sua utilidade enquanto expõe aplicações a ações inseguras, vazamento de informações e manipulação adversária. Sistemas multiagente expandem ainda mais essas capacidades por meio de especialização e colaboração, mas autoridade distribuída, papéis heterogêneos e participantes opacos ou potencialmente comprometidos tornam a proteção ainda mais desafiadora.
Benchmarking Classical and Quantum Machine Learning for Intrusion Detection Across Multiple Datasets
A detecção de intrusão é examinada por meio de um benchmark comparativo de modelos de aprendizado de máquina clássico e quântico em três conjuntos de dados: NSL-KDD, UNSW-NB15 e MQTTEEB-D2025. A análise concentra-se em como as decisões de pré-processamento, as estratégias de seleção de recursos e os esquemas de codificação quântica moldam o desempenho do modelo em dados com diferentes níveis de ruído e complexidade.
AgentCap: Capability-Based Runtime Authorization for Secure LLM Agent Execution
Os agentes de modelos de linguagem comumente combinam duas decisões que os sistemas de segurança mantêm separadas: selecionar uma ação e determinar se essa ação é autorizada. Quando um modelo exerce autoridade permanente, a injeção indireta de comandos pode converter a influência sobre seu raciocínio em efeitos não autorizados.
AgentTypo: Adaptive Typographic Prompt Injection Attacks against Black-box Multimodal Agents
Agentes multimodais construídos sobre grandes modelos de visão-linguagem são cada vez mais implantados em ambientes de mundo aberto, mas continuam altamente vulneráveis à injeção de comandos. Ataques tipográficos de texto em imagem, como o FigStep, têm sido avaliados principalmente em modelos de visão-linguagem isolados.
Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction
Agentes de LLM compactam longas histórias para caber em suas janelas de contexto, mas o contexto compactado ainda deve carregar as regras operacionais que regem as ações posteriores. Trabalhos anteriores mostram que as violações aumentam após a compactação, mas medem a conformidade fora de um ambiente completo de agente e não identificam a origem de cada violação.
How Safe Are AI-Generated Patches? A Large-scale Study on Security Risks in LLM and Agentic Automated Program Repair on SWE-bench
Grandes modelos de linguagem (LLMs) e estruturas baseadas em agentes são cada vez mais utilizados para tarefas de desenvolvimento, como reparo automatizado de programas (APR). Trabalhos anteriores identificaram riscos de segurança em código gerado por LLM, mas a maioria dos estudos foca em tarefas sintéticas, simplificadas ou isoladas.
Decentralized Multi-Agent Coordination and Communication in Shared Codebases
Agentes de codificação que trabalham em repositórios compartilhados podem receber solicitações separadas e motivadas de forma independente por desenvolvedores humanos, criando um cenário que é multiagente por necessidade. Quando esse cenário ocorre, suas implementações individuais podem funcionar separadamente, mas entram em conflito quando combinadas.
Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models
Grandes modelos de linguagem (LLMs) implantados em ambientes críticos para a segurança devem resistir a entradas adversárias projetadas para extrair saídas prejudiciais. Apresentamos uma avaliação empírica sistemática de cinco famílias de ataques de jailbreak adversário — solicitações diretas, jailbreak baseado em encenação de papéis (roleplay), enquadramento hipotético, anulação de instruções e ofuscação — em sete LLMs de peso aberto servidos localmente: Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B e Phi-4-14B.