رادار البحوث، 5 نوفمبر 2026: 13 ورقة بحثية جديدة في الذكاء الاصطناعي والأمن

محرك بيانات ذكي وقائم على الوكلاء لنماذج اللغات الكبيرة العلمية

Nature

وكلاء الذكاء الاصطناعي يدخلون “المختبر الرطب”

Nature

وكلاء الذكاء الاصطناعي يديرون هذا المختبر البيولوجي الآلي الذي يقوم بتسلسل الحمض النووي وأكثر من ذلك

Nature

نموذج أساسي RNA موجه ببنية مفتوحة للتنبؤ القابل تعميمه

Nature

مختبر تجريبي أصلي للذكاء الاصطناعي العمليات الجزيئية الحيوية المستقلة

Nature

LITMUS: تقييم معيار كسر الحماية السلوكي لوكلاء نماذج اللغات الكبيرة في بيئات أنظمة التشغيل الحقيقية

arXiv · Chiyu Zhang, Lu Zhou, Xiaogang Xu, Huiqin Yang, Bendong Jiang, Xiaolei Zhang, Yiran Zhao, Ruyi Chen, Jiafei Wu, Liming Fang, Zhe Liu

الانتشار السريع للوكلاء المستقلين القائمين على نماذج اللغات الكبيرة في بيئات أنظمة التشغيل الحقيقية يقدم فئة جديدة من مخاطر الأمان تتجاوز سلامة المحتوى: كسر الحماية السلوكي، حيث يحث الخصم الوكلاء على تنفيذ عمليات خطيرة على مستوى نظام التشغيل ذات عواقب لا رجعة فيها. تقيم المعايير الحالية السلامة على الطبقة الدلالية وحدها، وتتخطى الأضرار على مستوى الطبقة الفيزيائية، أو تفشل في عزل حالات الاختبار، مما يسمح للتشغيلات السابقة بتلوث اللاحقة.

UpSafe$^circ$C: إعادة التدوير من أجل السلامة القابلة للتحكم في نماذج اللغات الكبيرة

arXiv · Yuhao Sun, Zhuoer Xu, Shiwen Cui, Kun Yang, Lingyun Yu, Yongdong Zhang, Hongtao Xie

حققت نماذج اللغات الكبيرة (LLMs) تقدماً ملحوظاً عبر مجموعة واسعة من المهام، لكنها تظل عرضة لمخاطر الأمان مثل توليد المحتوى الضار وهجمات كسر الحماية. تواجه تقنيات الأمان الحالية -بما في ذلك حواجز الحماية الخارجية، والتوجيه أثناء الاستدلال، والمواءمة بعد التدريب- قيوداً في موازنة السلامة والفائدة والقابلية للتحكم.

UpSafe$^circ$C: إعادة التدوير من أجل السلامة القابلة للتحكم في نماذج اللغات الكبيرة

arXiv · Yuhao Sun, Zhuoer Xu, Shiwen Cui, Kun Yang, Lingyun Yu, Yongdong Zhang, Hongtao Xie

حققت نماذج اللغات الكبيرة (LLMs) تقدماً ملحوظاً عبر مجموعة واسعة من المهام، لكنها تظل عرضة لمخاطر الأمان مثل توليد المحتوى الضار وهجمات كسر الحماية. تواجه تقنيات الأمان الحالية -بما في ذلك حواجز الحماية الخارجية، والتوجيه أثناء الاستدلال، والمواءمة بعد التدريب- قيوداً في موازنة السلامة والفائدة والقابلية للتحكم.

من المختبر إلى الواقع: تقييم عملي لنماذج التعلم العميق ونماذج اللغات الكبيرة لكشف الثغرات الأمنية

arXiv · Chaomeng Lu, Bert Lagaisse

أظهرت طرق كشف الثغرات الأمنية القائمة على التعلم العميق (DL) أداءً قوياً على مجموعات بيانات المعايير، إلا أن فعاعليتها في العالم الحقيقي تظل غير مستكشفة بشكل كافٍ. تشير الأعمال الأخيرة إلى أن النماذج القائمة على شبكات الرسم البياني والترانسفورمر، بما في ذلك نماذج اللغات الكبيرة (LLMs)، تعطي نتائج واعدة عند تقييمها على مجموعات بيانات معيارية منسقة.

الجمع بالطرح: نحو التخفيف من mواءمة السلامة الهشة في نماذج اللغات الكبيرة

arXiv · Hamid Dashtbani, Alexandra Dmitrienko

تخضع نماذج اللغات الكبيرة (LLMs) لمواءمة الأمان لمنع التوليدات الضارة، ومع ذلك فهي تظل عرضة لهجمات كسر الحماية. يكشف العمل الأخير عن ضعف هيكلي أعمق: يمكن أن تكون مواءمة السلامة متفرقة للغاية، بحيث أن تقليم عدد صغير من الخلايا العصبية الحرجة للسلامة أو استئصال اتجاه رفض واحد يمكن أن يقوض بشكل كبير السلوك الموجه.

فك التشفير المقيد بالقواعد يمكنه كسر حماية نماذج اللغات الكبيرة لتوليد كود خبيث

arXiv · Yitong Zhang, Shiteng Lu, Jia Li

تُستخدم نماذج اللغات الكبيرة (LLMs) بشكل متزايد لتوليد الأكواد، مما يثير مخاوف من احتمال إساءة استخدامها لإنتاج أكواد خبيثة. وفي الوقت نفسه، تم اعتماد فك التشفير المقيد بالقواعد (GCD) على نطاق واسع لتحسين موثوقية الأكواد المولدة بواسطة نماذج اللغات الكبيرة من خلال فرض الصلاحية النحوية.

إعادة التفكير في الاستدلال: دراسة استقصائية حول الأبواب الخلفية القائمة على الاستدلال في نماذج اللغات الكبيرة

arXiv · Man Hu, Xinyi Wu, Zhufeng Suo, Jinbo Feng, Linghui Meng, Yanhao Jia, Anh Tuan Luu, Shuai Zhao

مع صعود قدرات الاستدلال المتقدمة، تلقى نماذج اللغات الكبيرة (LLMs) اهتماماً متزايداً. ومع ذلك، على الرغم من أن الاستدلال يحسن أداء نماذج اللغات الكبيرة في المهام اللاحقة، إلا أنه يولد أيضاً مخاطر أمنية جديدة، حيث يمكن للخصوم استغلال هذه القدرات لتنفيذ هجمات الأبواب الخلفية.

ما وراء الموجه: كسر حماية نماذج اللغات الكبيرة لاستدعاء الدوال عبر آثار الإشراف المحاكاتية

arXiv · Junlong Liu, Haobo Wang, Weiqi Luo, Xiaojun Jia

تظل هجمات كسر الحماية تهديداً حاسماً للنشر الآمن لنماذج اللغات الكبيرة (LLMs). بينما درست الأعمال السابقة في المقام الأول الهجمات والدفاعات على مستوى الموجه، نوضح أن هذا النموذج المرتكز على الموجه يتجاهل ضعفاً هيكلياً في البيئات ذات الحالة التي تستدعي الدوال.