أحد التحديات الكبرى في مجال الخدمات المتعلقة بالنماذج اللغوية الكبيرة هو كيفية تقديم النموذج بشكل كفء وفعّال. هذه التحديات، الناتجة عن الحسابات المعقدة للغاية المطلوبة لاستجابة النموذج، تؤدي غالبًا إلى تأخير كبير وبطء في استخدام هذه النماذج. تحدٍ آخر يتمثل في الحجم الكبير للنماذج، الذي قد يصل أحيانًا إلى عدة مئات من الجيجابايت. في **MCI-Next**، تمكنا من التغلب على هذه التحديات بمساعدة **Triton Inference Server** و**TensorRT-LLM**، وهما من منتجات شركة Nvidia. بفضل جهود فريق **MLOps** الفني، نجحنا في تقديم نموذج **Llama 3.1** بنتائج مذهلة. النسخة الصغيرة من هذا النموذج، التي تحتوي على 8 مليارات معلمة، تمكنت من معالجة 5000 رمز في الثانية باستخدام بطاقة **GPU A100** واحدة. وهذا ليس سوى البداية لعملنا في تقديم النماذج مفتوحة المصدر. نأمل في المستقبل أن نتمكن من تقديم نماذج أكبر بكثير وبمستوى يتوافق مع الشركات العالمية الرائدة.