Traduit de l’anglais par TechUpscale à l’aide de l’IA et vérifié par rapport à l’original. Lire l’original en anglais
Nouvelles recherches sur l’IA et la sécurité, sélectionnées pour leur pertinence concernant les modèles de langage, les agents IA et la cybersécurité. Les résumés proviennent des auteurs ou de l’éditeur, avec des liens vers les originaux.
Évalués par des pairs
Ingénierie enzymatique efficace par la modélisation des changements de paramètres cinétiques lors de mutations grâce à l’apprentissage profond géométrique
Un modèle de fondation de la démarche pour la prédiction des phénotypes de santé multisystémiques à partir du mouvement squelettique 3D
Vers des modèles de fondation écologiquement significatifs
« Les mathématiques sont plus qu’un processus mécanique » — pourquoi je pense que ce domaine survivra à la perturbation d’OpenAI
Explorer le dilemme de la mise à l’échelle durable de l’IA : une étude prospective des impacts environnementaux de l’IA des entreprises
Modèles de fondation biologiques
Nouvelles prépublications (pas encore évaluées par des pairs)
SAVeR$^2$ : Alignement de la sécurité basé sur le raisonnement pour les grands modèles de raisonnement via des récompenses vérifiables
Les grands modèles de raisonnement (LRM) ont atteint des performances impressionnantes grâce à un raisonnement explicite par chaîne de pensées (CoT), mais ce processus introduit des risques de sécurité critiques. Nous formalisons les objectifs de sécurité des LRM comme exigeant un raisonnement et des réponses non malveillants, une cohérence de sécurité et une identification explicite de l’intention.
ARMs : Agent d’équipe rouge adaptatif contre les modèles multimodaux avec des attaques prêtes à l’emploi
À mesure que les modèles vision-langage (VLM) gagnent en importance, leurs interfaces multimodales introduisent également de nouvelles vulnérabilités de sécurité, rendant l’évaluation de la sécurité difficile et cruciale. Les efforts actuels d’équipe rouge (red-teaming) sont soit limités à un ensemble restreint de schémas contradictoires, soit dépendent fortement de l’ingénierie manuelle, manquant d’exploration évolutive des vulnérabilités émergentes des VLM dans le monde réel.
TSQAgent : Évaluation de la qualité des données de séries chronologiques via un raisonnement agentique dédié
L’évaluation de la qualité des données de séries chronologiques (TS) est fondamentale mais intrinsèquement difficile en raison de la nature multiforme des dimensions de la qualité. Récemment, les grands modèles de langage (LLM) sont apparus comme un paradigme prometteur pour l’évaluation de la qualité des TS via une comparaison par paires et une évaluation par dimension.
SEABench : Évaluation comparative du désalignement endogène dans les agents auto-évolutifs
Les agents LLM auto-évolutifs ont gagné en importance pour leur capacité à s’améliorer après le déploiement en modifiant leur infrastructure, y compris leurs instructions de contrôleur, leurs protocoles de gestion de la mémoire et leurs outils et compétences réutilisables, en réponse aux commentaires des utilisateurs et de l’environnement. Cependant, des mises à jour localement utiles peuvent persister dans des tâches ultérieures où elles produisent un comportement dangereux, même sans influence contradictoire directe.
CST-Bench : Évaluation comparative du raisonnement de transition spatiale contrefactuelle avec auto-distillation sur politique de transition causale
Le raisonnement spatial est une capacité fondamentale des grands modèles de langage multimodaux (MLLM), mais les benchmarks existants se concentrent principalement sur la compréhension de scènes statiques. Lorsque des objets sont déplacés ou échangés, les modèles doivent déduire non seulement les relations spatiales, mais aussi la manière dont les interventions modifient l’état de la scène.
MCPHallu : Évaluation comparative des hallucinations de raisonnement, d’exécution et de mémoire dans les agents MCP
Les agents de grands modèles de langage sont de plus en plus déployés via le Model Context Protocol (MCP), ce qui leur permet de découvrir et d’appeler des outils sur plusieurs serveurs au moment de l’exécution. Les benchmarks MCP existants mesurent principalement l’achèvement des tâches ; lorsqu’ils diagnostiquent des pannes, ils le font après l’exécution plutôt que d’intégrer des risques spécifiques de défaillance du raisonnement, de l’exécution et de la mémoire dans la construction des tâches.
MEvince : Raisonnement LLM contraint par la connaissance pour l’identification de techniques à partir de rapports de logiciels malveillants
La mise en correspondance de l’intelligence comportementale dans les rapports d’analyse de logiciels malveillants avec les techniques ATT&CK soutient l’analyse et la défense contre les menaces, mais une identification fiable reste difficile. Les preuves justificatives sont souvent dispersées dans de longs rapports hétérogènes, tandis que des techniques étroitement liées partagent des indices comportementaux et ne diffèrent que par des détails subtils mais décisifs.
Évaluation systématique des attaques et défenses de jailbreaking contradictoire sur sept grands modèles de langage
Les grands modèles de langage (LLM) déployés dans des environnements critiques pour la sécurité doivent résister aux entrées contradictoires conçues pour provoquer des sorties nuisibles. Nous présentons une évaluation empirique systématique de cinq familles d’attaques de jailbreaking contradictoire (requêtes directes, jailbreaking basé sur le jeu de rôle, cadrage hypothétique, contournement d’instructions et obfuscation) sur sept LLM à poids ouverts servis localement : Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B et Phi-4-14B.