Achetez Distributed Training (SN38) en Mexico

Distributed Training (sn38) est un sous-réseau décentralisé au sein de l'écosystème Bittensor axé sur l'entraînement collaboratif de grands modèles de langage. Le projet vise à fournir une alternative sans tiers de confiance à l'approche centralisée actuellement dominée par les grandes entreprises technologiques. En utilisant un réseau mondial de participants indépendants, il cherche à abaisser les coûts élevés et les barrières liées aux ressources qui empêchent généralement les entités plus petites de développer des modèles d'intelligence artificielle de pointe. La base technique du projet repose sur une approche distribuée de l'apprentissage automatique. Il utilise une bibliothèque spécifique appelée Hivemind pour faciliter le processus de liaison de milliers d'ordinateurs individuels via Internet afin d'entraîner un modèle unique et unifié. Ce système emploie une méthode connue sous le nom de butterfly all-reduce pour le moyennage des gradients. Dans cette configuration, les mineurs effectuent un entraînement local sur des segments assignés d'un jeu de données, tel que le jeu de données Fineweb de Hugging Face. Une fois les mises à jour locales calculées, le réseau se coordonne pour moyenner ces mises à jour, ce qui donne un modèle global reflétant le travail collectif de tous les participants. Il existe deux rôles principaux au sein de cet écosystème : les mineurs et les validateurs. Les mineurs fournissent la puissance de calcul haut de gamme, la bande passante et les connexions à faible latence nécessaires pour exécuter les itérations d'entraînement. Ils sont responsables du traitement des données et de la contribution à l'état partagé du modèle. Les validateurs gèrent l'intégrité du réseau en s'assurant que les mineurs effectuent un travail légitime. Ils coordonnent les étapes d'entraînement, gèrent les mises à jour de l'état du modèle et évaluent la qualité des contributions sur la base de méthodes de validation déterministes. La vision plus large du projet Distributed Training est de démocratiser le développement de modèles fondationnels. En créant un paysage incitatif où les ressources informatiques sont mutualisées, le projet espère créer des modèles qui ne sont pas gouvernés par une seule entité. Cette approche répond aux préoccupations concernant l'alignement de l'IA et la censure en permettant une voie plus transparente et open-source vers une intelligence de haut niveau. Le projet reste activement développé sur des plateformes comme GitHub, où la communauté travaille à l'amélioration de la stabilité du réseau, à la réduction des coûts de communication et à l'augmentation de la taille des modèles entraînés. En savoir plus