Traduit de l’anglais par TechUpscale à l’aide de l’IA et vérifié par rapport à l’original. Lire l’original en anglais
Nouvelles recherches sur l’IA et la sécurité, sélectionnées pour leur pertinence concernant les modèles de langage, les agents IA et la cybersécurité. Les résumés proviennent des auteurs ou de l’éditeur, avec des liens vers les originaux.
Évaluées par des pairs
Directives pour l’évaluation des méthodes basées sur la structure pour la prédiction de la liaison protéine-ligand
Les mathématiques peuvent-elles survivre à l’IA ? Le médaillé Fields Terence Tao appelle à un monde « Maths 2.0 »
Nouvelles prépublications (non encore évaluées par des pairs)
AgentPhishing : un banc d’essai pour les agents de messagerie LLM sous attaque adaptative
Les agents informatiques gèrent de plus en plus d’informations privées et agissent au nom des utilisateurs sur les applications de bureau et web, y compris la messagerie électronique. Le phishing pose donc des risques pour la vie privée et la sécurité qui dépendent non seulement de la capacité des agents à reconnaître les messages malveillants, mais aussi de leur réaction.
IA agentique sécurisée et intelligence multimodale dans les systèmes de communication 6G
Les systèmes de communication de sixième génération (6G) devraient prendre en charge des services immersifs, axés sur l’intention et critiques en termes de latence grâce à une intégration étroite de l’intelligence multimodale, de l’informatique en périphérie (edge computing) et du contrôle de réseau autonome. Dans ce contexte, les systèmes d’IA agentique peuvent raisonner sur des entrées hétérogènes, utiliser des outils et des fonctions réseau, se coordonner entre des entités distribuées et s’adapter à des environnements dynamiques.
Mirage : contournements ciblés contre les vérificateurs de sécurité post-génération dans les modèles de diffusion multimodaux
Les vérificateurs de sécurité post-génération sont largement employés dans les pipelines de modèles de diffusion pour empêcher que du contenu généré non sécurisé n’atteigne les utilisateurs. Dans cet article, nous montrons que ces vérificateurs de sécurité peuvent toujours être contournés par notre attaque par jailbreak multimodale proposée, Mirage.
PhishGen : comprendre les capacités des LLM dans la génération automatisée de sites Web de phishing
Le phishing repose sur la tromperie visuelle, nécessitant traditionnellement des compétences en développement Web ou des kits préconçus. Les LLM érodent cette barrière en générant des sites Web fonctionnels à partir d’invites (prompts) en langage naturel, pourtant les travaux antérieurs ne répondent pas à la portée réelle de la génération pilotée par les LLM : la fonctionnalité est évaluée par inspection plutôt que par exécution ; la fidélité visuelle est notée par des mesures automatisées ou quelques codeurs internes plutôt que par les humains que ces pages visent à tromper ; l’évaluation se limite aux modèles commerciaux ; et aucune étude ne compare les pages générées aux kits de phishing déployés dans la nature.
MPIDetector : détection d’injections de requêtes multimodales par raisonnement basé sur les LLM
Avec l’intégration rapide des grands modèles de langage multimodaux (MLLM) dans les applications du monde réel, l’injection de requêtes (Prompt Injection ou PI) est devenue une menace critique pour la sécurité. Les attaquants peuvent dissimuler des instructions malveillantes dans des récits textuels ou des entrées visuelles pour contourner l’alignement de sécurité.
SecLog-Bench : un banc d’essai évolutif pour le raisonnement sur les journaux de cybersécurité avec des preuves étayées
Les grands modèles de langage (LLM) ont montré un fort potentiel pour la cybersécurité, ce qui suscite un intérêt croissant pour l’analyse automatisée des journaux de cybersécurité basée sur les LLM. Cependant, les jeux de données actuels (1) sont limités en échelle ; (2) reposent principalement sur des preuves à source unique ; et (3) ne comportent que des étiquettes d’attaque binaires ou multiclasses, sans annotations denses du processus de raisonnement.
PLE : le dernier examen de l’ingénierie physique
Les modèles de langage de pointe obtiennent désormais des scores supérieurs à 90 % sur les bancs d’essai de connaissances populaires et sont de plus en plus déployés en tant qu’agents effectuant un travail professionnel de plusieurs heures. Pourtant, aucun banc d’essai existant ne teste leur capacité à accomplir le travail réel et économiquement précieux d’un ingénieur physicien professionnel, tel que la modélisation de la physique et des exigences des codes juridiques à travers un corpus de projets multiformat, l’optimisation des coûts de matériaux et d’installation, et la production de dossiers de conception technique 2D/3D qu’un réviseur agréé approuverait.
La divulgation engendre la divulgation : une boucle de confidentialité auto-renforçante chez les agents LLM à mémoire persistante
Les agents de grands modèles de langage (LLM) utilisent de plus en plus la mémoire persistante pour personnaliser les réponses, et les attributs personnels contenus dans cette mémoire présentent un risque pour la vie privée en cas d’exposition. Nous examinons comment la consultation de la mémoire pendant le dialogue modifie ce que les utilisateurs disent par la suite, et par conséquent ce que la mémoire finit par révéler.