Traduit de l’anglais par TechUpscale à l’aide de l’IA et vérifié par rapport à l’original. Lire l’original en anglais
Nouvelles recherches sur l’IA et la sécurité, sélectionnées pour leur pertinence concernant les grands modèles de langage, les agents IA et la cybersécurité. Les résumés sont formulés par les auteurs ou l’éditeur, avec des liens vers les originaux.
Évalué par des pairs
Agentic intelligent data engine for scientific large language models
AI agents enter the ‘wet lab’
AI agents run this automated biology lab that sequences DNA and more
An open structure-guided RNA foundation model for generalizable prediction
An AI-native experimental laboratory for autonomous biomolecular operations
Nouvelles prépublications (non encore évaluées par des pairs)
LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments
La prolifération rapide des agents autonomes basés sur des LLM dans de véritables environnements de systèmes d’exploitation introduit une nouvelle catégorie de risques de sécurité au-delà de la sécurité du contenu : le « jailbreak » comportemental, où un adversaire incite un agent à exécuter des opérations dangereuses au niveau du système d’exploitation avec des conséquences irréversibles. Les critères d’évaluation existants évaluent soit la sécurité uniquement au niveau sémantique, manquant les préjudices au niveau physique, soit ne parviennent pas à isoler les cas de test, permettant aux exécutions précédentes de contaminer les suivantes.
UpSafe$^circ$C: Upcycling for Controllable Safety in Large Language Models
Les grands modèles de langage (LLM) ont accompli des progrès remarquables dans un large éventail de tâches, mais restent vulnérables aux risques de sécurité tels que la génération de contenu nuisible et les attaques par contournement (« jailbreak »). Les techniques de sécurité existantes — notamment les garde-fous externes, le guidage au moment de l’inférence et l’alignement post-entraînement — présentent chacune des limites pour équilibrer la sécurité, l’utilité et la contrôlabilité.
UpSafe$^circ$C: Upcycling for Controllable Safety in Large Language Models
Les grands modèles de langage (LLM) ont accompli des progrès remarquables dans un large éventail de tâches, mais restent vulnérables aux risques de sécurité tels que la génération de contenu nuisible et les attaques par contournement (« jailbreak »). Les techniques de sécurité existantes — notamment les garde-fous externes, le guidage au moment de l’inférence et l’alignement post-entraînement — présentent chacune des limites pour équilibrer la sécurité, l’utilité et la contrôlabilité.
From Lab to Reality: A Practical Evaluation of Deep Learning Models and LLMs for Vulnerability Detection
Les méthodes de détection des vulnérabilités basées sur l’apprentissage profond (DL) ont démontré de solides performances sur les jeux de données de référence, mais leur efficacité dans le monde réel reste peu explorée. Des travaux récents suggèrent que les modèles basés sur des réseaux de neurones graphiques et sur des transformeurs, y compris les grands modèles de langage (LLM), donnent des résultats prometteurs lorsqu’ils sont évalués sur des jeux de données de référence sélectionnés.
Addition by Subtraction: Toward Mitigating Fragile Safety Alignment in Large Language Models
Les grands modèles de langage (LLM) subissent un alignement de sécurité pour empêcher les générations nuisibles, mais ils restent vulnérables aux attaques par contournement. Des travaux récents révèlent une faiblesse structurelle plus profonde : l’alignement de sécurité peut être hautement épars, de sorte que l’élagage d’un petit nombre de neurones critiques pour la sécurité ou l’ablation d’une seule direction de refus peut compromettre substantiellement le comportement aligné.
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
Les grands modèles de langage (LLM) sont de plus en plus utilisés pour la génération de code, ce qui suscite des craintes quant à leur utilisation abusive potentielle pour produire du code malveillant. Parallèlement, le décodage contraint par la grammaire (GCD) a été largement adopté pour améliorer la fiabilité du code généré par les LLM en imposant une validité syntaxique.
Rethinking Reasoning: A Survey on Reasoning-based Backdoors in LLMs
Avec l’essor de capacités de raisonnement avancées, les grands modèles de langage (LLM) suscitent une attention croissante. Cependant, bien que le raisonnement améliore les performances des LLM sur les tâches aval, il introduit également de nouveaux risques de sécurité, les adversaires pouvant exploiter ces capacités pour mener des attaques par porte dérobée.
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Les attaques par contournement (« jailbreak ») restent une menace critique pour le déploiement sécurisé des grands modèles de langage (LLM). Alors que les travaux antérieurs ont principalement étudié les attaques et les défenses au niveau des instructions (« prompt »), nous montrons que ce paradigme centré sur les instructions néglige une vulnérabilité structurelle dans les environnements à état et d’appel de fonctions.