صور جيتي
في عالم الذكاء الاصطناعي، ازدادت شعبية ما يمكن تسميته “نماذج اللغات الصغيرة” مؤخرًا لأنه يمكن تشغيلها على جهاز محلي بدلاً من الحاجة إلى أجهزة كمبيوتر على مستوى مراكز البيانات في السحابة. قدمت شركة Apple يوم الأربعاء مجموعة من نماذج لغات الذكاء الاصطناعي الصغيرة المتاحة المصدر والتي تسمى OpenELM وهي صغيرة بما يكفي للتشغيل مباشرة على الهاتف الذكي. إنها في الغالب نماذج بحثية لإثبات المفهوم في الوقت الحالي، ولكنها يمكن أن تشكل أساسًا لعروض الذكاء الاصطناعي المستقبلية على الجهاز من Apple.
نماذج الذكاء الاصطناعي الجديدة من Apple، والتي يطلق عليها مجتمعة اسم OpenELM والتي تعني “نماذج اللغة الفعالة مفتوحة المصدر”، متاحة حاليًا على Hugging Face بموجب ترخيص رمز نموذجي من Apple. نظرًا لوجود بعض القيود في الترخيص، فقد لا يتناسب مع التعريف المقبول عمومًا لـ “المصدر المفتوح”، ولكن كود المصدر لـ OpenELM متاح.
في يوم الثلاثاء، قمنا بتغطية نماذج Phi-3 من Microsoft، والتي تهدف إلى تحقيق شيء مماثل: مستوى مفيد من فهم اللغة وأداء المعالجة في نماذج الذكاء الاصطناعي الصغيرة التي يمكن تشغيلها محليًا. يتميز Phi-3-mini بـ 3.8 مليار معلمة، ولكن بعض نماذج OpenELM من Apple أصغر بكثير، حيث تتراوح من 270 مليون إلى 3 مليار معلمة في ثمانية نماذج متميزة.
بالمقارنة، يتضمن أكبر نموذج تم إصداره حتى الآن في عائلة Meta's Llama 3 70 مليار معلمة (مع إصدار 400 مليار في الطريق)، وGPT-3 من OpenAI من عام 2020 مشحون بـ 175 مليار معلمة. يعد عدد المعلمات بمثابة مقياس تقريبي لقدرة نموذج الذكاء الاصطناعي وتعقيده، لكن الأبحاث الحديثة ركزت على جعل نماذج لغة الذكاء الاصطناعي الأصغر ذات قدرة مماثلة لتلك الكبيرة التي كانت عليها قبل بضع سنوات.
تأتي نماذج OpenELM الثمانية في نسختين: أربعة كـ “مدربة مسبقًا” (في الأساس نسخة أولية من النموذج التالي) وأربعة كتعليمات مضبوطة (تم ضبطها بدقة لمتابعة التعليمات، وهي أكثر مثالية لتطوير مساعدي الذكاء الاصطناعي و روبوتات الدردشة):
يتميز OpenELM بنافذة سياق بحد أقصى 2048 رمزًا مميزًا. تم تدريب النماذج على مجموعات البيانات المتاحة للجمهور RefinedWeb، وهي نسخة من PILE مع إزالة التكرارات، ومجموعة فرعية من RedPajama، ومجموعة فرعية من Dolma v1.6، والتي تقول Apple إن إجماليها يبلغ حوالي 1.8 تريليون رمز مميز من البيانات. الرموز المميزة هي تمثيلات مجزأة للبيانات التي تستخدمها نماذج لغة الذكاء الاصطناعي للمعالجة.
تقول شركة Apple إن نهجها مع OpenELM يتضمن “إستراتيجية تحجيم الطبقة” التي يقال إنها تخصص المعلمات بشكل أكثر كفاءة عبر كل طبقة، مما لا يوفر الموارد الحسابية فحسب، بل يعمل أيضًا على تحسين أداء النموذج أثناء تدريبه على عدد أقل من الرموز المميزة. وفقًا للورقة البيضاء التي أصدرتها Apple، مكنت هذه الإستراتيجية OpenELM من تحقيق تحسن بنسبة 2.36 بالمائة في الدقة مقارنة بـ OLMo 1B الخاص بـ Allen AI (نموذج لغة صغير آخر) بينما تتطلب نصف عدد الرموز المميزة للتدريب المسبق.
تفاحة
أصدرت Apple أيضًا كود CoreNet، وهي مكتبة تستخدمها لتدريب OpenELM، وتضمنت أيضًا وصفات تدريب قابلة للتكرار تسمح بتكرار الأوزان (ملفات الشبكة العصبية)، وهو أمر غير معتاد بالنسبة لشركة تقنية كبرى حتى الآن. كما تقول شركة Apple في ملخص بحث OpenELM، تعد الشفافية هدفًا رئيسيًا للشركة: “إن إمكانية تكرار وشفافية نماذج اللغات الكبيرة أمر بالغ الأهمية لتعزيز البحث المفتوح، وضمان مصداقية النتائج، وتمكين التحقيقات في البيانات وتحيزات النماذج، كما وكذلك المخاطر المحتملة.”
من خلال إطلاق الكود المصدري، وأوزان النماذج، والمواد التدريبية، تقول شركة Apple إنها تهدف إلى “تمكين وإثراء مجتمع البحث المفتوح”. ومع ذلك، فإنه يحذر أيضًا من أنه بما أن النماذج تم تدريبها على مجموعات بيانات من مصادر عامة، “فهناك احتمال أن تنتج هذه النماذج مخرجات غير دقيقة أو ضارة أو متحيزة أو مرفوضة استجابة لمطالبات المستخدم.”
على الرغم من أن شركة Apple لم تقم بعد بدمج هذه الموجة الجديدة من إمكانات نموذج لغة الذكاء الاصطناعي في أجهزتها الاستهلاكية، إلا أنه يُشاع أن تحديث iOS 18 القادم (المتوقع الكشف عنه في يونيو في مؤتمر WWDC) سيتضمن ميزات الذكاء الاصطناعي الجديدة التي تستخدم المعالجة على الجهاز لضمان المستخدم. الخصوصية – على الرغم من أنه من المحتمل أن تقوم الشركة بتعيين Google أو OpenAI للتعامل مع معالجة الذكاء الاصطناعي الأكثر تعقيدًا خارج الجهاز لمنح Siri دفعة طال انتظارها.