Traduit de l’anglais par TechUpscale à l’aide de l’IA et vérifié par rapport à l’original. Lire l’original en anglais
Nouvelles recherches sur l’IA et la sécurité, sélectionnées pour leur pertinence concernant les modèles de langage, les agents IA et la cybersécurité. Les résumés sont formulés par les auteurs ou l’éditeur, avec un lien vers l’original.
Évalué par les pairs
Visual LLM-guided consensus spatial domain detection with L-STAR
RobPicker: a meta-learning framework for robust identification of macromolecules in cryo-electron tomograms
Nouvelles prépublications (non encore évaluées par les pairs)
BrainwashedLLM: Jailbreaking via Automated Adversarial Chain of Thoughts Discovery
Les grands modèles de raisonnement (Large Reasoning Models ou LRM) obtiennent d’excellentes performances sur des tâches complexes en générant un raisonnement explicite sous forme de chaîne de pensée (Chain-of-Thought ou CoT), mais les implications de cette surface de raisonnement intermédiaire en matière de sécurité restent sous-explorées. Nous démontrons que la trace de raisonnement elle-même constitue un puissant vecteur d’attaque.
The Agent in the Middle: How AI-Mediated Access Reshapes Web Vulnerability Exploitation
Les services web exposent de plus en plus d’interfaces dorsales qui permettent aux utilisateurs de déléguer des tâches à des agents IA, lesquels invoquent directement les opérations de service sans naviguer sur les sites web. Cette évolution modifie la manière dont les vulnérabilités web existantes peuvent être exploitées.
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
Les grands modèles de langage (LLM) sont de plus en plus utilisés pour la génération de code, ce qui suscite des craintes quant à leur détournement potentiel pour produire du code malveillant. Parallèlement, le décodage contraint par grammaire (Grammar-Constrained Decoding ou GCD) a été largement adopté pour améliorer la fiabilité du code généré par les LLM en garantissant sa validité syntaxique.
Cyber-JEV: Matched Contrastive Fine-Tuning of Language Models for Fast Source-Code Vulnerability Triage
Les modèles de notation à passage unique tels que Jev attribuent à chaque fonction de code une probabilité de vulnérabilité, afin que les équipes de sécurité puissent classer de nombreuses fonctions pour examen sans générer d’explications écrites. L’entraînement d’un modèle aux poids ouverts pour cette tâche est limité par les données.
Measuring Model-Specific Alignment Drift in LLM-Based Opinion Dynamics
Les agents de grands modèles de langage (LLM) sont de plus en plus utilisés en tant que participants synthétiques dans des expériences de dynamique des opinions, en supposant souvent que le comportement d’un agent est entièrement déterminé par son instruction (prompt). Nous testons cette hypothèse à l’aide d’un cadre dans lequel les agents LLM discutent d’une question politique controversée au cours de tours répétés, tandis que leur position est quantifiée par un instrument psychométrique fixe indépendant de tout modèle de dynamique.
The Devil is in the Context: Nine Dimensions of Prompt Injection Attacks
L’injection de requêtes (prompt injection) est généralement abordée et évaluée comme un type d’attaque unique et homogène. Cependant, les vulnérabilités signalées dans les systèmes du monde réel montrent que les injections de requêtes varient considérablement.
MM-OptBench: A Solver-Grounded Benchmark for Multimodal Optimization Modeling
La modélisation d’optimisation traduit des problèmes décisionnels réels en modèles d’optimisation mathématique et en implémentations exécutables par des solveurs. Bien que les modèles de langage soient de plus en plus utilisés pour générer des formulations d’optimisation et du code de solveur, les benchmarks existants pour cette capacité sont presque exclusivement textuels.
The Web Doesn't Sit Still: Adversarial Self-Evolving Attacks on Search Agents
Les grands modèles de langage (LLM) se sont montrés prometteurs pour permettre aux agents de recherche de s’attaquer à des tâches complexes de recherche d’information. Cependant, comme l’acquisition d’informations externes nécessite une recherche sur le web, ces agents sont extrêmement vulnérables à diverses attaques contradictoires (par exemple, l’injection d’informations malveillantes ou la manipulation furtive du contexte).