Traduit de l’anglais par TechUpscale à l’aide de l’IA et vérifié par rapport à l’original. Lire l’original en anglais
Nouvelles recherches sur l’IA et la sécurité, sélectionnées pour leur pertinence par rapport aux modèles de langage, aux agents IA et à la cybersécurité. Les résumés proviennent des auteurs ou de l’éditeur, avec des liens vers l’original.
Évalués par des pairs
Êtes-vous un détective scientifique en herbe ? Faites notre quiz sur le plagiat pour tester vos compétences
Transformer les analyses de l’évolution moléculaire grâce aux modèles de fondation protéiques
Nouvelles prépublications (non encore évaluées par des pairs)
Dressed in Authority: Practical Black-Box Jailbreaking of MLLMs via Visual Trust Bias
Les grands modèles de langage multimodaux (MLLM) progressent rapidement, mais leur sécurité reste une préoccupation essentielle, en particulier lors des tentatives de jailbreak. Les jailbreaks de MLLM existants injectent soit des perturbations contradictoires fragiles dans des images non pertinentes, soit synthétisent des indices visuels toxiques pour atteindre des intentions d’attaque textuelles.
Natural Code Transformation Confuses Agents in Vulnerability Analysis
Ayant démontré un fort potentiel pour automatiser la découverte de vulnérabilités, les agents IA peuvent également être utilisés pour attaquer les systèmes logiciels à grande échelle. Les systèmes logiciels d’aujourd’hui ont besoin de mécanismes pour équilibrer les chances en ralentissant les attaques potentielles, leur donnant le temps de corriger les vulnérabilités et de renforcer les logiciels.
SEAM: Computer-Use Agents Know the Harm Between Screens, and Commit It Anyway
Les benchmarks de sécurité pour les agents à utilisation informatique (computer-use agents ou CUA) situent le préjudice soit dans l’intention de la tâche, soit sur un seul écran : une instruction malveillante, une commande injectée, une page de phishing. Un agent qui vérifie la tâche et chaque écran de manière isolée peut les réussir, de sorte qu’ils ne testent pas s’il combine des faits vus sur différents écrans.
GapLeak: When Privacy-Preserving LLM-based Web Agents Become a Privacy Risk
Les agents Web basés sur des grands modèles de langage (LLM) reposent sur la minimisation des données et le moindre privilège pour protéger la vie privée des utilisateurs. Nous montrons que ces principes sont nécessaires mais insuffisants : ils limitent les sources autorisées, mais pas les sources de plus haute sensibilité qui restent accessibles.
Seeing with You: Perception-Reasoning Coevolution for Multimodal Reasoning
L’apprentissage par renforcement avec récompenses vérifiables (RLVR) a considérablement amélioré les capacités de raisonnement des grands modèles de langage multimodaux (MLLM). Cependant, les approches RLVR existantes reposent généralement sur une optimisation axée sur les résultats qui met à jour à la fois la perception et le raisonnement à l’aide d’une récompense partagée basée uniquement sur la réponse finale.
WebAgents: Unbundling Agent Creation, Hosting, and Execution for an Agent-Native Web
Les grands modèles de langage passent d’assistants isolés à des agents autonomes capables de planifier, d’utiliser des outils et de se coordonner avec d’autres, ce qui motive l’émergence d’un Web agentique composé d’agents et de services développés indépendamment. La réalisation de cette vision nécessite que le comportement des agents se déplace entre créateurs, hôtes et environnements d’exécution sans coupler la publication à un environnement d’exécution particulier ni transférer l’autorité sur les ressources de l’utilisateur.
What Does an Agent Need? Bundle-Aware Agent Resource Composition
La valeur d’une ressource d’agent dépend de son modèle de base (backbone) et de ses ressources associées, et n’est connue qu’après l’exécution. Les générateurs basés sur les jetons (tokens) restent liés à leur catalogue d’entraînement, tandis que la notation indépendante des ressources passe à côté des complémentarités et que les ensembles réutilisés ciblent d’autres tâches.
From Strategy Search to Policy Learning: MCTS-Guided Adversarial Co-Evolution for LLM Safety Alignment
Les grands modèles de langage (LLM) alimentent de plus en plus d’applications Web, notamment les assistants conversationnels et les services de contenu, où l’interaction ouverte avec les utilisateurs les expose à diverses menaces de sécurité et attaques adaptatives. En particulier, les attaquants procédant par jailbreak reformulent à plusieurs reprises les requêtes nuisibles pour contourner l’alignement de la sécurité.
