Distributed Trainingالسعر

(SN38)

تعتبر Subnet 38 قسماً متخصصاً ضمن نظام Bittensor البيئي يركز على التدريب الموزع. وبخلاف الشبكات الفرعية القائمة على الاستدلال (inference) التي تكتفي بتشغيل النماذج الحالية، تقوم SN38 بتنسيق شبكة واسعة من الـ miners الأفراد لتدريب نماذج لغوية كبيرة (LLMs) ضخمة بشكل جماعي. ومن خلال تجميع قوة الحوسبة اللامركزية، يهدف المشروع إلى مضاهاة قدرات شركات الذكاء الاصطناعي المركزية الكبرى من خلال التطوير التعاوني، مما يؤدي أساساً إلى إنشاء كمبيوتر فائق لامركزي لتدريب النماذج.

إن Backprop Finance، المعروفة أيضاً باسم DSTRBTD، هي المؤسسة المسؤولة عن تطوير وصيانة الشبكة الفرعية Distributed Training. حيث يوفرون الإطار التقني، بما في ذلك الأوراق البيضاء (whitepapers) والوثائق، التي تحدد الرؤية طويلة المدى لتدريب الذكاء الاصطناعي اللامركزي. ويتطلع المستخدمون والـ miners إلى هذا الفريق للحصول على خارطة الطريق الاستراتيجية والتحديثات الهيكلية التي تحكم نمو الشبكة الفرعية وتنفيذها التكنولوجي.

يعد التعدين على SN38 كثيف الاستهلاك للموارد ويتطلب أجهزة متطورة. يحتاج المشاركون عادةً إلى NVIDIA GPUs بذاكرة VRAM لا تقل عن 12GB، على الرغم من تفضيل البطاقات من الفئة العليا بسعة 24GB أو أكثر للحصول على مكافآت مثالية. بالإضافة إلى ذلك، يعد عرض النطاق الترددي العالي للإنترنت أمراً بالغ الأهمية لأن الـ miners يستخدمون مكتبة Hivemind للتواصل المستمر. كما يعد التكوين الصحيح لجدار الحماية واتصال الـ peer-to-peer المستقر أمراً ضرورياً لتجنب الأخطاء خلال خطوات المتوسط الحسابي اللامركزي (decentralized averaging) لعملية التدريب.

يعمل توكن SN38 كأصل خاص بالشبكة الفرعية يمثل حصة في نجاحها. ويُستخدم لتحفيز الـ miners الذين يوفرون قوة الحوسبة اللازمة لتدريب النماذج واسعة النطاق. كما يسمح التوكن للمشاركين بالتفاعل مع الاقتصاد الداخلي للشبكة الفرعية، ويعمل كآلية مكافأة لأولئك الذين يساهمون في أهداف التدريب الجماعية للشبكة.

تعد Butterfly All-Reduce خوارزمية تقنية رئيسية تستخدمها SN38 لمزامنة تدريب النماذج عبر آلاف الحواسيب المستقلة. فهي تسمح للـ miners بحساب متوسط أوزان نماذجهم عبر الشبكة دون الاعتماد على خادم مركزي. ويضمن ذلك مساهمة كل مشارك في نفس النموذج العالمي في وقت واحد، متجاوزاً اختناقات عرض النطاق الترددي الهائلة التي تجعل التدريب الموزع أبطأ تقليدياً من مجموعات الخوادم المركزية.

الميزة الأساسية لـ SN38 هي بنية التدريب التعاوني الخاصة بها. فبينما تتنافس الشبكات الفرعية الأخرى غالباً بين الـ miners لتقديم أفضل نموذج فردي، تتطلب SN38 من الـ miners العمل معاً على نموذج واحد موحد. تم تصميم هذا الأسلوب التعاوني لإثبات أن التنسيق اللامركزي يمكن أن يتوسع لتدريب نماذج ضخمة تحتوي على 70 مليار معيار (parameters) أو أكثر، والتي كان لا يمكن تحقيقها في السابق إلا من قبل الشركات المركزية الكبرى التي تمتلك مراكز بيانات خاصة ضخمة.