شراء Distributed Training (SN38) في Japan

تعد Distributed Training (sn38) عبارة عن subnetwork لامركزية ضمن منظومة Bittensor تركز على التدريب التعاوني لنماذج اللغات الكبيرة (large language models). يهدف المشروع إلى توفير بديل trustless للنهج المركزي الذي تهيمن عليه حاليًا شركات التكنولوجيا الكبرى. ومن خلال استخدام شبكة عالمية من المشاركين المستقلين، يسعى المشروع إلى خفض التكاليف الباهظة وعوائق الموارد التي تمنع الكيانات الأصغر عادةً من تطوير نماذج ذكاء اصطناعي متطورة. يعتمد الأساس التقني للمشروع على نهج موزع لتعلم الآلة (machine learning)، حيث يستخدم مكتبة محددة تسمى Hivemind لتسهيل عملية ربط الآلاف من أجهزة الكمبيوتر الفردية عبر الإنترنت لتدريب نموذج واحد موحد. يستخدم هذا النظام طريقة تُعرف باسم butterfly all-reduce من أجل gradient averaging. وفي هذا الإعداد، يقوم الـ miners الأفراد بإجراء تدريب محلي على أجزاء محددة من مجموعة بيانات، مثل مجموعة بيانات Fineweb من Hugging Face. وبمجرد حساب التحديثات المحلية، تنسق الشبكة فيما بينها لحساب متوسط هذه التحديثات، مما ينتج عنه نموذج عالمي يعكس العمل الجماعي لجميع المشاركين. هناك دوران أساسيان داخل هذه المنظومة: miners و validators. يوفر الـ miners قوة حوسبة عالية، ونطاق ترددي واسع، واتصالات low-latency ضرورية لتنفيذ دورات التدريب، وهم مسؤولون عن معالجة البيانات والمساهمة في الحالة المشتركة للنموذج. أما الـ validators فيديرون سلامة الشبكة من خلال ضمان قيام الـ miners بعمل مشروع، حيث يقومون بتنسيق خطوات التدريب، ومعالجة تحديثات حالة النموذج، وتقييم جودة المساهمات بناءً على طرق deterministic validation. وتتمثل الرؤية الأوسع لمشروع Distributed Training في دمقرطة تطوير foundation models. ومن خلال إنشاء بيئة محفزة يتم فيها تجميع موارد الحوسبة معًا، يأمل المشروع في إنشاء نماذج لا تخضع لسيطرة كيان واحد. يعالج هذا النهج المخاوف المتعلقة بـ AI alignment والرقابة من خلال السماح بمسار أكثر شفافية ومفتوح المصدر نحو ذكاء رفيع المستوى. يظل المشروع قيد التطوير النشط على منصات مثل GitHub، حيث يعمل المجتمع على تحسين استقرار الشبكة، وتقليل أعباء الاتصال، وتوسيع حجم النماذج التي يتم تدريبها. معرفة المزيد