Traduit de l’anglais par TechUpscale à l’aide de l’IA et vérifié par rapport à l’original. Lire l’original en anglais
Nouvelles recherches sur l’IA et la sécurité, sélectionnées pour leur pertinence concernant les modèles de langage, les agents IA et la cybersécurité. Les résumés proviennent des auteurs ou de l’éditeur, avec des liens vers les originaux.
Évalués par des pairs
Machine learning dataset and benchmark for accurate T cell receptor–pHLA binding prediction
Development of an automated method for audiometric data extraction and analysis using voting optical character recognition
Emergence of diffusion models from associative memory through memorization and generalization
Nouvelles prépublications (non encore évaluées par des pairs)
WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents
Les agents web propulsés par des modèles vision-langage (VLM) permettent une interaction autonome avec les environnements web en percevant et en agissant sur le contenu visuel et textuel des pages web pour accomplir des tâches spécifiées par l’utilisateur. Cependant, ils sont extrêmement vulnérables aux attaques par injection de requêtes (« prompt injection »), où des instructions contradictoires intégrées dans du HTML ou des captures d’écran rendues peuvent manipuler le comportement des agents et entraîner des conséquences néfastes telles que des fuites d’informations.
Do AI-for-Science Agents Preserve Model Safety?
Les agents d’IA pour la science sont de plus en plus utilisés pour formuler des hypothèses scientifiques, exécuter des expériences autonomes et interpréter des données probantes. Ces agents sont construits en intégrant un grand modèle de langage (LLM) dans un cadre d’agent spécifique à un domaine, ce qui peut à son tour améliorer les capacités scientifiques du LLM et permettre au modèle d’orchestrer des outils scientifiques.
Quantum Cadence: Post-Quantum Consensus with Multiple Concurrent Proposers
Les protocoles de consensus de la plupart des blockchains à haute performance utilisent des certificats de quorum, qui regroupent les signatures d’un quorum de validateurs. Les schémas de signature tels que BLS peuvent agréger les signatures de tout un quorum en une seule signature courte, ce qui permet de garder ces certificats de petite taille.
Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability
Les progrès des grands modèles de langage omnimodaux (OLLMs) ont permis des interactions humain-IA de plus en plus fluides, mais leur traitement unifié des modalités hétérogènes élargit également la surface d’attaque, permettant aux adversaires d’exploiter des compositions d’entrées plus riches pour contourner l’alignement de sécurité. Pour contrer ces risques, des garde-fous omnimodaux ont été proposés pour détecter et filtrer les requêtes non sécurisées à travers des modalités arbitraires.
Knowing Whom to Trust is not Enough: The Trust–Agreement Gap in Repeated Multi-Party LLM Negotiation
Les agents basés sur de grands modèles de langage (LLM) participent de plus en plus aux négociations au nom d’individus et d’organisations, tout en restant vulnérables à la manipulation, en particulier dans les interactions multipartites répétées. Les systèmes multi-agents classiques répondent à ce défi par le biais de modèles explicites de confiance et de réputation, tandis que les travaux existants sur la négociation par LLM traitent largement la confiance comme un phénomène émergent.
The Helpful Agent Problem: When Emergent Cooperation Among LLM Agents Bypasses Intended Workflows
Les agents LLM sont de plus en plus déployés dans des environnements collaboratifs où ils poursuivent des tâches distinctes tout en partageant des ressources et en fonctionnant selon des processus de révision ou de supervision. De tels environnements créent des risques pour la sécurité non seulement lorsque les agents sont malveillants, mais aussi lorsqu’ils essaient simplement d’aider.
Safe at One Loop, Risky at Another: Aligning Safety Across Recurrent Depths in Looped Language Models
Les modèles de langage bouclés (LoopLMs) offrent une approche efficace en termes de paramètres pour mettre à l’échelle les capacités des modèles grâce à l’utilisation répétée de paramètres partagés au fil des étapes récurrentes. Étant donné que chaque profondeur récurrente peut être lue indépendamment, un seul LoopLM expose un espace de sortie plus large à travers les profondeurs d’inférence, soulevant une question importante : de savoir si la sécurité est préservée tout au long du calcul récurrent.
On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection
Les benchmarks d’injection de requêtes évaluent si les grands modèles de langage (LLM) et les agents résistent aux instructions malveillantes intégrées dans du contenu externe. Cependant, un système pourrait bien fonctionner en rejetant les attaques qui abandonnent manifestement la requête de l’utilisateur, tout en acceptant des modifications qui conservent la majeure partie d’une réponse légitime mais la rendent incorrecte ou nuisible.