Beli Distributed Training (SN38) di France

Distributed Training (sn38) adalah subnetwork terdesentralisasi di dalam ekosistem Bittensor yang berfokus pada pelatihan kolaboratif model bahasa besar. Proyek ini bertujuan untuk menyediakan alternatif trustless terhadap pendekatan terpusat yang saat ini didominasi oleh korporasi teknologi besar. Dengan memanfaatkan jaringan global dari peserta independen, proyek ini berupaya menurunkan biaya tinggi dan hambatan sumber daya yang biasanya menghalangi entitas kecil dalam mengembangkan model kecerdasan buatan mutakhir. Landasan teknis dari proyek ini bergantung pada pendekatan terdistribusi untuk machine learning. Proyek ini menggunakan library khusus yang disebut Hivemind untuk memfasilitasi proses penghubungan ribuan komputer individu di seluruh internet guna melatih satu model terpadu yang tunggal. Sistem ini menggunakan metode yang dikenal sebagai butterfly all-reduce untuk perata-rataan gradien. Dalam pengaturan ini, masing-masing miner melakukan pelatihan lokal pada segmen dataset yang ditugaskan, seperti dataset Fineweb dari Hugging Face. Setelah pembaruan lokal dihitung, jaringan berkoordinasi untuk merata-ratakan pembaruan ini, menghasilkan model global yang mencerminkan kerja kolektif dari seluruh peserta. Ada dua peran utama dalam ekosistem ini: miner dan validator. Miner menyediakan daya komputasi kelas atas, bandwidth, dan koneksi latensi rendah yang diperlukan untuk menjalankan iterasi pelatihan. Mereka bertanggung jawab untuk memproses data dan berkontribusi pada shared model state. Validator mengelola integritas jaringan dengan memastikan bahwa miner melakukan pekerjaan yang sah. Mereka mengoordinasikan langkah-langkah pelatihan, menangani pembaruan model state, dan mengevaluasi kualitas kontribusi berdasarkan metode validasi deterministik. Visi yang lebih luas dari proyek Distributed Training adalah mendemokratisasi pengembangan model fondasi. Dengan menciptakan lanskap terinsentif di mana sumber daya komputasi dikumpulkan bersama, proyek ini berharap dapat menciptakan model yang tidak diatur oleh satu entitas tunggal. Pendekatan ini menjawab kekhawatiran mengenai keselarasan AI dan penyensoran dengan memungkinkan jalur yang lebih transparan dan sumber terbuka menuju kecerdasan tingkat tinggi. Proyek ini tetap dikembangkan secara aktif di platform seperti GitHub, di mana komunitas bekerja untuk meningkatkan stabilitas jaringan, mengurangi communication overhead, dan memperluas skala ukuran model yang sedang dilatih. Pelajari Lebih Lanjut