Traduzido do inglês pela TechUpscale com ajuda de IA e verificado com o original. Ler o original em inglês
Novas pesquisas sobre IA e segurança, selecionadas pela relevância para modelos de linguagem, agentes de IA e cibersegurança. Os resumos são das próprias palavras dos autores ou da editora, com links para o original.
Revisados por pares
Effective enzyme engineering through modeling kinetic parameter changes upon mutations with geometric deep learning
A gait foundation model for prediction of multisystem health phenotypes from 3D skeletal motion
Towards ecologically meaningful foundation models
‘Mathematics is more than a mechanical process’ — why I think the field will survive OpenAI’s disruption
Exploring the sustainable scaling of AI dilemma: a projective study of corporations’ AI environmental impacts
Biological foundation models
Novos preprints (ainda não revisados por pares)
SAVeR$^2$: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards
Grandes Modelos de Raciocínio (LRMs) alcançaram desempenho impressionante por meio de raciocínio explícito de Cadeia de Pensamento (CoT), mas esse processo introduz riscos críticos de segurança. Formalizamos os objetivos de segurança de LRM como exigindo raciocínio e respostas não maliciosos, consistência de segurança e identificação explícita de intenção.
ARMs: Adaptive Red-Teaming Agent against Multimodal Models with Plug-and-Play Attacks
À medida que os modelos de visão-linguagem (VLMs) ganham destaque, suas interfaces multimodais também introduzem novas vulnerabilidades de segurança, tornando a avaliação de segurança desafiadora e crítica. Os esforços existentes de red-teaming são restritos a um conjunto restrito de padrões adversariais ou dependem fortemente de engenharia manual, carecendo de exploração escalável de vulnerabilidades emergentes de VLM no mundo real.
TSQAgent: Rating Time Series Data Quality via Dedicated Agentic Reasoning
Avaliar a qualidade de dados de séries temporais (TS) é fundamental, mas inerentemente desafiador devido à natureza multifacetada das dimensões de qualidade. Recentemente, grandes modelos de linguagem (LLMs) emergiram como um paradigma promissor para a avaliação de qualidade de TS por meio de comparação em pares e avaliação por dimensão.
SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents
Agentes LLM autoevolutivos ganharam destaque por sua capacidade de melhorar após a implantação modificando seu ambiente, incluindo suas instruções de controlador, protocolos de gerenciamento de memória e ferramentas e habilidades reutilizáveis, em resposta ao feedback do usuário e do ambiente. No entanto, atualizações úteis localmente podem persistir em tarefas posteriores, onde produzem comportamento inseguro, mesmo sem influência adversarial direta.
CST-Bench: Benchmarking Counterfactual Spatial Transition Reasoning with Causal Transition On-Policy Self-Distillation
O raciocínio espacial é uma capacidade fundamental de grandes modelos de linguagem multimodal (MLLMs), mas os benchmarks existentes focam principalmente na compreensão de cenas estáticas. Quando os objetos são movidos ou trocados, os modelos devem inferir não apenas as relações espaciais, mas também como as intervenções alteram o estado da cena.
MCPHallu: Benchmarking Reasoning, Execution, and Memory Hallucinations in MCP Agents
Agentes de grandes modelos de linguagem são implantados cada vez mais por meio do Model Context Protocol (MCP), que lhes permite descobrir e invocar ferramentas em múltiplos servidores em tempo de execução. Os benchmarks MCP existentes medem principalmente a conclusão de tarefas; onde diagnosticam falhas, fazem-no após a execução em vez de incorporar riscos específicos de falha de raciocínio, execução e memória na construção da tarefa.
MEvince: Knowledge-Constrained LLM Reasoning for Technique Identification from Malware Reports
Mapear a inteligência comportamental em relatórios de análise de malware para técnicas ATT&CK apoia a análise de ameaças e a defesa, mas a identificação confiável continua desafiadora. As evidências de suporte costumam estar espalhadas por relatórios longos e heterogêneos, enquanto técnicas intimamente relacionadas compartilham pistas comportamentais e diferem apenas em detalhes sutis, mas decisivos.
Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models
Grandes modelos de linguagem (LLMs) implantados em ambientes críticos para a segurança devem resistir a entradas adversariais projetadas para extrair saídas prejudiciais. Apresentamos uma avaliação empírica sistemática de cinco famílias de ataques de jailbreaking adversarial – solicitações diretas, jailbreaking baseado em interpretação de papéis, enquadramento hipotético, substituição de instruções e ofuscação – em sete LLMs de peso aberto servidos localmente: Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B e Phi-4-14B.