Distributed Trainingقیمت

(SN38)

Subnet 38 یک بخش تخصصی در اکوسیستم Bittensor است که بر آموزش توزیع‌شده (distributed training) تمرکز دارد. برخلاف زیرشبکه‌های مبتنی بر استنتاج (inference-based subnets) که صرفاً مدل‌های موجود را اجرا می‌کنند، SN38 شبکه‌ای گسترده از ماینرهای منفرد را برای آموزش جمعی مدل‌های زبانی بزرگ (LLMs) هماهنگ می‌کند. با تجمیع قدرت پردازش غیرمتمرکز، این پروژه قصد دارد از طریق توسعه مشارکتی با توانمندی‌های شرکت‌های بزرگ و متمرکز هوش مصنوعی برابری کند و در واقع یک ابررایانه غیرمتمرکز برای آموزش مدل ایجاد نماید.

Backprop Finance که با نام DSTRBTD نیز شناخته می‌شود، سازمان مؤسسی است که مسئول توسعه و نگهداری زیرشبکه Distributed Training می‌باشد. آن‌ها چارچوب فنی، شامل whitepapers و مستندات را ارائه می‌دهند که چشم‌انداز بلندمدت برای آموزش هوش مصنوعی غیرمتمرکز را ترسیم می‌کند. کاربران و ماینرها برای نقشه راه (roadmap) استراتژیک و به‌روزرسانی‌های معماری که بر رشد و پیاده‌سازی تکنولوژیک این زیرشبکه نظارت دارند، به این تیم متکی هستند.

استخراج در SN38 به منابع زیادی نیاز دارد و مستلزم سخت‌افزارهای رده‌بالا است. شرکت‌کنندگان معمولاً به NVIDIA GPUs با حداقل 12GB از VRAM نیاز دارند، هرچند کارت‌های رده‌بالا با 24GB یا بیشتر برای دریافت پاداش‌های بهینه ترجیح داده می‌شوند. علاوه بر این، پهنای باند اینترنت بالا حیاتی است زیرا ماینرها از کتابخانه Hivemind برای برقراری ارتباط مداوم استفاده می‌کنند. پیکربندی صحیح فایروال و اتصال پایدار همتا‌به‌همتا (peer-to-peer) برای جلوگیری از بروز خطا در مراحل میانگین‌گیری غیرمتمرکز (decentralized averaging) فرآیند آموزش ضروری است.

توکن SN38 به عنوان یک دارایی اختصاصی زیرشبکه عمل می‌کند که نشان‌دهنده سهمی در موفقیت این زیرشبکه است. این توکن برای ایجاد انگیزه در ماینرهایی استفاده می‌شود که قدرت پردازشی لازم را برای آموزش مدل‌های مقیاس‌بزرگ فراهم می‌کنند. این توکن به شرکت‌کنندگان اجازه می‌دهد تا با اقتصاد داخلی زیرشبکه تعامل داشته باشند و به عنوان یک مکانیزم پاداش برای کسانی که در اهداف آموزشی جمعی شبکه مشارکت می‌کنند، عمل می‌کند.

Butterfly All-Reduce یک الگوریتم فنی کلیدی است که توسط SN38 برای همگام‌سازی آموزش مدل در هزاران کامپیوتر مستقل استفاده می‌شود. این الگوریتم به ماینرها اجازه می‌دهد تا وزن‌های مدل خود را در سراسر شبکه بدون تکیه بر یک سرور مرکزی میانگین‌گیری کنند. این امر تضمین می‌کند که هر شرکت‌کننده به طور همزمان در یک مدل جهانی واحد مشارکت دارد و بر گلوگاه‌های پهنای باند که به طور سنتی آموزش توزیع‌شده را کندتر از خوشه‌های سرور متمرکز (centralized server clusters) می‌کند، غلبه می‌کند.

متمایزکننده اصلی SN38، معماری آموزش مشارکتی آن است. در حالی که در سایر زیرشبکه‌ها اغلب ماینرها برای ارائه بهترین مدل انفرادی با هم رقابت می‌کنند، SN38 از ماینرها می‌خواهد تا روی یک مدل واحد و یکپارچه با هم کار کنند. این روش همکاری طراحی شده است تا ثابت کند هماهنگی غیرمتمرکز می‌تواند برای آموزش مدل‌های عظیم با 70 میلیارد پارامتر یا بیشتر مقیاس‌پذیر باشد؛ مواردی که پیش از این تنها توسط شرکت‌های بزرگ متمرکز با مراکز داده خصوصی عظیم قابل دستیابی بود.