Distributed Trainingमूल्य

(SN38)

Subnet 38 Bittensor इकोसिस्टम के भीतर एक विशेष डिवीजन है जो distributed training पर केंद्रित है। केवल inference-आधारित subnets के विपरीत जो केवल मौजूदा मॉडल चलाते हैं, SN38 बड़े पैमाने पर Large Language Models (LLMs) को सामूहिक रूप से प्रशिक्षित करने के लिए व्यक्तिगत miners के एक विशाल नेटवर्क का समन्वय करता है। विकेंद्रीकृत compute power को एकत्रित करके, इस प्रोजेक्ट का लक्ष्य सहयोगी विकास के माध्यम से प्रमुख केंद्रीकृत AI फर्मों की क्षमताओं से मेल खाना है, जो अनिवार्य रूप से मॉडल ट्रेनिंग के लिए एक विकेंद्रीकृत सुपरकंप्यूटर बनाता है।

Backprop Finance, जिसे DSTRBTD के रूप में भी जाना जाता है, Distributed Training सबनेटवर्क को विकसित करने और बनाए रखने के लिए जिम्मेदार संस्थापक संगठन है। वे तकनीकी रूपरेखा प्रदान करते हैं, जिसमें whitepapers और डॉक्यूमेंटेशन शामिल हैं, जो विकेंद्रीकृत AI ट्रेनिंग के लिए दीर्घकालिक दृष्टिकोण की रूपरेखा तैयार करते हैं। यूजर्स और miners सबनेट के विकास और तकनीकी कार्यान्वयन को नियंत्रित करने वाले रणनीतिक रोडमैप और आर्किटेक्चरल अपडेट के लिए इस टीम की ओर देखते हैं।

SN38 पर माइनिंग संसाधन-गहन (resource-intensive) है और इसके लिए हाई-एंड हार्डवेयर की आवश्यकता होती है। प्रतिभागियों को आम तौर पर कम से कम 12GB VRAM वाले NVIDIA GPUs की आवश्यकता होती है, हालांकि इष्टतम रिवॉर्ड्स के लिए 24GB या उससे अधिक वाले हाई-टियर कार्ड पसंद किए जाते हैं। इसके अतिरिक्त, हाई इंटरनेट बैंडविड्थ महत्वपूर्ण है क्योंकि miners लगातार संवाद करने के लिए Hivemind लाइब्रेरी का उपयोग करते हैं। ट्रेनिंग प्रक्रिया के विकेंद्रीकृत औसत (decentralized averaging) चरणों के दौरान त्रुटियों से बचने के लिए उचित फ़ायरवॉल कॉन्फ़िगरेशन और स्थिर peer-to-peer कनेक्टिविटी आवश्यक है।

SN38 टोकन एक सबनेट-विशिष्ट संपत्ति के रूप में कार्य करता है जो सबनेट की सफलता में हिस्सेदारी (stake) का प्रतिनिधित्व करता है। इसका उपयोग उन miners को प्रोत्साहित करने के लिए किया जाता है जो बड़े पैमाने के मॉडल के प्रशिक्षण के लिए आवश्यक compute power प्रदान करते हैं। टोकन प्रतिभागियों को सबनेट की आंतरिक अर्थव्यवस्था के साथ जुड़ने की अनुमति देता है, और यह नेटवर्क के सामूहिक प्रशिक्षण लक्ष्यों में योगदान देने वालों के लिए एक रिवॉर्ड मैकेनिज्म के रूप में कार्य करता है।

Butterfly All-Reduce एक प्रमुख तकनीकी एल्गोरिथम है जिसका उपयोग SN38 द्वारा हजारों स्वतंत्र कंप्यूटरों में मॉडल प्रशिक्षण को सिंक्रोनाइज़ करने के लिए किया जाता है। यह miners को सेंट्रल सर्वर पर निर्भर हुए बिना नेटवर्क पर अपने मॉडल वेट (weights) को औसत (average) करने की अनुमति देता है। यह सुनिश्चित करता है कि प्रत्येक प्रतिभागी एक साथ एक ही ग्लोबल मॉडल में योगदान दे रहा है, जिससे बड़े पैमाने पर बैंडविड्थ की बाधाओं को दूर किया जा सके जो पारंपरिक रूप से distributed training को केंद्रीकृत सर्वर क्लस्टर की तुलना में धीमा बनाती हैं।

SN38 के लिए प्राथमिक विभेदक (differentiator) इसका सहयोगी प्रशिक्षण आर्किटेक्चर है। जबकि अन्य सबनेट्स में अक्सर miners सबसे अच्छा व्यक्तिगत मॉडल सबमिट करने के लिए प्रतिस्पर्धा करते हैं, SN38 के लिए आवश्यक है कि miners एक एकल एकीकृत मॉडल पर मिलकर काम करें। यह सहकारी पद्धति यह साबित करने के लिए डिज़ाइन की गई है कि विकेंद्रीकृत समन्वय 70 बिलियन या उससे अधिक मापदंडों (parameters) वाले विशाल मॉडल को प्रशिक्षित करने के लिए स्केल कर सकता है, जो पहले केवल विशाल निजी डेटा केंद्रों वाले बड़े केंद्रीकृत निगमों द्वारा ही प्राप्त करने योग्य थे।