Distributed TrainingHarga

(SN38)

Subnet 38 adalah divisi khusus dalam ekosistem Bittensor yang berfokus pada distributed training. Tidak seperti subnet berbasis inferensi yang hanya menjalankan model yang sudah ada, SN38 mengoordinasikan jaringan luas miner individual untuk melatih Large Language Models (LLMs) secara kolektif. Dengan mengumpulkan daya komputasi terdesentralisasi, proyek ini bertujuan untuk menandingi kemampuan perusahaan AI terpusat yang besar melalui pengembangan kolaboratif, yang pada dasarnya menciptakan superkomputer terdesentralisasi untuk pelatihan model.

Backprop Finance, yang juga dikenal sebagai DSTRBTD, adalah organisasi pendiri yang bertanggung jawab untuk mengembangkan dan memelihara subnetwork Distributed Training. Mereka menyediakan kerangka teknis, termasuk whitepaper dan dokumentasi, yang menguraikan visi jangka panjang untuk pelatihan AI terdesentralisasi. Pengguna dan miner mengandalkan tim ini untuk peta jalan strategis dan pembaruan arsitektur yang mengatur pertumbuhan serta implementasi teknologi subnet tersebut.

Mining di SN38 memerlukan sumber daya yang intensif dan membutuhkan perangkat keras kelas atas. Peserta biasanya membutuhkan GPU NVIDIA dengan minimal 12GB VRAM, meskipun kartu tingkat tinggi dengan 24GB atau lebih lebih disukai untuk reward yang optimal. Selain itu, bandwidth internet yang tinggi sangat krusial karena miner menggunakan library Hivemind untuk berkomunikasi secara terus-menerus. Konfigurasi firewall yang tepat dan konektivitas peer-to-peer yang stabil sangat penting untuk menghindari kesalahan selama langkah-langkah decentralized averaging dalam proses pelatihan.

Token SN38 berfungsi sebagai aset khusus subnet yang mewakili kepemilikan (stake) dalam keberhasilan subnet tersebut. Token ini digunakan untuk memberi insentif kepada miner yang menyediakan daya komputasi yang diperlukan untuk melatih model skala besar. Token ini memungkinkan peserta untuk terlibat dalam ekonomi internal subnet, dan berfungsi sebagai mekanisme reward bagi mereka yang berkontribusi pada tujuan pelatihan kolektif jaringan tersebut.

Butterfly All-Reduce adalah algoritma teknis utama yang digunakan oleh SN38 untuk menyinkronkan pelatihan model di ribuan komputer independen. Algoritma ini memungkinkan miner untuk merata-ratakan bobot model mereka di seluruh jaringan tanpa bergantung pada server pusat. Hal ini memastikan bahwa setiap peserta berkontribusi pada model global yang sama secara bersamaan, mengatasi hambatan bandwidth besar yang secara tradisional membuat distributed training lebih lambat daripada klaster server terpusat.

Pembeda utama untuk SN38 adalah arsitektur pelatihan kolaboratifnya. Sementara subnet lain sering kali membuat miner bersaing untuk mengirimkan model individual terbaik, SN38 mengharuskan miner bekerja sama pada satu model tunggal yang terpadu. Metode kooperatif ini dirancang untuk membuktikan bahwa koordinasi terdesentralisasi dapat ditingkatkan skalanya untuk melatih model masif dengan 70 miliar parameter atau lebih, yang sebelumnya hanya dapat dicapai oleh perusahaan terpusat besar dengan pusat data pribadi yang masif.