Traduit de l’anglais par TechUpscale à l’aide de l’IA et vérifié par rapport à l’original. Lire l’original en anglais
Nouvelles recherches sur l’IA et la sécurité, sélectionnées pour leur pertinence concernant les modèles de langage, les agents IA et la cybersécurité. Les résumés proviennent des auteurs ou de l’éditeur, avec des liens vers les originaux.
Évalué par des pairs
La supervision du processus de recherche produit des agents de recherche d’informations fiables et généralisables
Nouvelles prépublications (non encore évaluées par des pairs)
PrivacyEvalClaw : un agent délibératif augmenté par des outils pour l’audit des fuites de confidentialité dans les réponses de contournement des LLM
L’évaluation fiable est un goulet d’étranglement critique dans le test contradictoire de la vie privée des grands modèles de langage (LLM) : déterminer si une réponse de contournement révèle réellement des informations personnelles peut s’avérer difficile lorsque les divulgations sont indirectes, contextuelles, partielles ou obscurcies. Les approches d’évaluation existantes s’appuient de plus en plus sur des modèles de garde et des LLM en tant que juges, pourtant ces évaluateurs peuvent interpréter la même réponse différemment.
LM-DSB : un système multi-agent léger pour la génération automatisée de bulletins de sécurité quotidiens dans la construction
La gestion de la sécurité dans la construction peine encore à produire des bulletins de sécurité quotidiens (DSB), des communications quotidiennes structurées qui identifient les risques spécifiques aux chantiers, transmettent les protocoles de sécurité et fixent des mesures préventives pour les travailleurs. La création manuelle de DSB prend 2 à 3 heures par jour et donne une qualité inconstante, 25 % des équipes ne réalisant jamais de planification préalable aux tâches (Olson et al., 2016), ce qui détourne le personnel de sécurité de la supervision sur le terrain.
RouteDRAG : Apprendre à router et à contrôler l’exécution agentique pour la RAG de documents multimodaux
Les applications Web reposent de plus en plus sur la compréhension de longs documents multimodaux, où répondre à des questions nécessite souvent de combiner des informations provenant de pages, de tableaux et de figures. La génération augmentée par récupération agentique répond à ces tâches grâce à une récupération et un raisonnement itératifs.
AgentSentry : Atténuer l’injection de requêtes indirecte dans les agents LLM via des diagnostics causaux temporels et la purification du contexte
Les agents de grands modèles de langage (LLM) augmentés par des outils agrègent l’historique des dialogues, les sorties des outils et le contenu récupéré dans un état d’exécution accumulé pour accomplir des tâches en plusieurs étapes. Ce modèle d’exécution expose les agents à des attaques par injection de requêtes indirecte (IPI), dans lesquelles des instructions contrôlées par un attaquant intégrées dans des artefacts externes pénètrent dans l’état de l’agent et influencent ultérieurement l’utilisation des outils.
RHINO : Raisonnement guidé pour le mappage des journaux réseau aux tactiques et techniques contradictoires avec de grands modèles de langage
Les systèmes modernes de détection des intrusions sur le réseau (NIDS) génèrent de vastes volumes d’alertes de bas niveau qui restent sémantiquement fragmentées, nécessitant une corrélation manuelle laborieuse avec des comportements contradictoires de haut niveau. L’automatisation existante, à savoir les systèmes basés sur des règles et les classificateurs d’apprentissage automatique, présente des limites critiques : les approches basées sur des règles ne parviennent pas à s’adapter aux nouvelles variations d’attaques, tandis que les méthodes d’apprentissage automatique manquent de conscience contextuelle et traitent le mappage tactique-technique (TT) comme une correspondance syntaxique plutôt que comme un raisonnement.
Tracer la cascade : un cadre d’évaluation sensible à la topologie pour les hallucinations d’agents scientifiques
Les agents de grands modèles de langage (LLM) sont de plus en plus déployés dans la recherche scientifique, où la fiabilité est essentielle et les connaissances sous-jacentes sont densément interconnectées. Dans de tels contextes, les hallucinations sont particulièrement dommageables : une seule affirmation erronée sur un concept fondamental peut se propager à travers un raisonnement en plusieurs étapes et corrompre des trajectoires entières.
OA-RAG : RAG agentique basé sur une ontologie pour un raisonnement fidèle des LLM
Les grands modèles de langage (LLM) obtiennent de bons résultats dans de nombreuses tâches du monde réel, mais restent sujets aux hallucinations, ce qui limite leur fiabilité dans des domaines tels que la biomédecine et la santé, où les réponses doivent être ancrées dans des connaissances établies. La génération augmentée par récupération (RAG) atténue ce problème en intégrant des informations externes, mais oublie souvent les relations logiques et s’appuie fortement sur le propre raisonnement du LLM, ce qui peut compromettre la fidélité des réponses.
MAREval : Un cadre multi-agent pour l’évaluation des explications de recommandation en langage naturel
L’évaluation des explications en langage naturel dans les systèmes de recommandation est essentielle pour favoriser la confiance, la transparence et l’engagement des utilisateurs. Cependant, les approches d’évaluation existantes telles que les évaluations humaines, bien qu’précises, nécessitent beaucoup de ressources et sont peu pratiques à l’échelle requise par les plateformes de recommandation modernes.