Distributed TrainingPrix

(SN38)

Subnet 38 est une division spécialisée au sein de l'écosystème Bittensor axée sur l'entraînement distribué. Contrairement aux subnets basés sur l'inférence qui se contentent d'exécuter des modèles existants, SN38 coordonne un vaste réseau de mineurs individuels pour entraîner collectivement des Large Language Models (LLMs) massifs. En regroupant la puissance de calcul décentralisée, le projet vise à égaler les capacités des grandes entreprises d'IA centralisées grâce à un développement collaboratif, créant ainsi un superordinateur décentralisé pour l'entraînement de modèles.

Backprop Finance, également connu sous le nom de DSTRBTD, est l'organisation fondatrice responsable du développement et de la maintenance du sous-réseau Distributed Training. Ils fournissent le cadre technique, y compris les whitepapers et la documentation, qui définit la vision à long terme de l'entraînement d'IA décentralisé. Les utilisateurs et les mineurs s'appuient sur cette équipe pour la roadmap stratégique et les mises à jour architecturales régissant la croissance et l'implémentation technologique du subnet.

Le minage sur SN38 est gourmand en ressources et nécessite du matériel haut de gamme. Les participants ont généralement besoin de GPUs NVIDIA avec au moins 12GB de VRAM, bien que les cartes de niveau supérieur avec 24GB ou plus soient préférées pour des rewards optimales. De plus, une large bande passante internet est cruciale car les mineurs utilisent la bibliothèque Hivemind pour communiquer en permanence. Une configuration appropriée du pare-feu et une connectivité peer-to-peer stable sont essentielles pour éviter les erreurs lors des étapes de moyennage décentralisé du processus d'entraînement.

Le token SN38 sert d'actif spécifique au subnet représentant une participation dans le succès du sous-réseau. Il est utilisé pour inciter les mineurs qui fournissent la puissance de calcul nécessaire à l'entraînement de modèles à grande échelle. Le token permet aux participants de s'engager dans l'économie interne du subnet et fonctionne comme un mécanisme de récompense pour ceux qui contribuent aux objectifs d'entraînement collectif du réseau.

Le Butterfly All-Reduce est un algorithme technique clé utilisé par SN38 pour synchroniser l'entraînement des modèles sur des milliers d'ordinateurs indépendants. Il permet aux mineurs de moyenner les poids de leurs modèles sur le réseau sans dépendre d'un serveur central. Cela garantit que chaque participant contribue simultanément au même modèle global, surmontant les goulots d'étranglement massifs de bande passante qui rendent traditionnellement l'entraînement distribué plus lent que les clusters de serveurs centralisés.

Le principal facteur de différenciation de SN38 est son architecture d'entraînement collaborative. Alors que d'autres subnets font souvent concourir les mineurs pour soumettre le meilleur modèle individuel, SN38 exige que les mineurs travaillent ensemble sur un seul modèle unifié. Cette méthode coopérative est conçue pour prouver que la coordination décentralisée peut passer à l'échelle pour entraîner des modèles massifs de 70 milliards de paramètres ou plus, ce qui n'était auparavant réalisable que par de grandes entreprises centralisées disposant de centres de données privés massifs.