أعلنت شركة ميتا إطلاق سلسلة الجيل الرابع من نماذج Llama، مع إتاحة نماذج مفتوحة المصدر للمطورين عبر منصتي Hugging Face وllama.com، في خطوة نحو عصر جديد من الابتكار في الذكاء الصناعي متعدد الوسائط.
نماذج Llama
وتتضمن سلسلة Llama 4 الجديدة 3 نماذج رئيسية، تختلف في الغرض والقوة الحسابية
وهي نموذج Llama 4 Scout الذي يحتوي على 17 مليار باراميتر نشط و16 خبيرًا، ويُعد الأفضل في فئته من حيث الكفاءة والأداء، مع دعم نافذة سياق غير مسبوقة تصل إلى 10 ملايين رمز.
أيضاً نموذج Llama 4 Maverick والذي يعتمد على نفس عدد الباراميترات النشطة ولكن مع 128 خبيرًا، ويتفوق على GPT-4o وGemini 2.0 Flash في معظم المقاييس المعلنة، كما يحقق تقييم ELO بلغ 1417 على منصة LMArena.
Ads
كذلك نموذج Llama 4 Behemoth والذي يعتبر بمثابة “المعلم” للنموذجين السابقين، وقد تم استخدامه لتدريبهما عبر تقنيات متقدمة، لكنه ليس موجهًا للاستخدام المباشر حاليًا، كما يتضمن نحو 288 مليار باراميتر نشط و16 خبيرًا، بإجمالي يقترب من تريليونَي باراميتر، ويتفوق على GPT-4.5 وClaude Sonnet 3.7 وGemini 2.0 Pro في اختبارات STEM المتخصصة.
ميتا
و اعتمدت ميتا في Llama 4 على بنية جديدة تعرف باسم Mixture of Experts، بحيث يتم تنشيط جزء فقط من الباراميترات لكل رمز، ما يُحسن الكفاءة ويقلل من التكلفة.
حيث تم تدريب النماذج باستخدام أكثر من 30 تريليون رمز من بيانات نصوص وصور وفيديوهات، باستخدام دقة FP8 العالية ومعايير جديدة لضبط المتغيرات.
الرابط المختصر: https://estsmararabe.com/?p=392096
