Koop Distributed Training (SN38) in Mexico

Distributed Training (sn38) is een gedecentraliseerd subnetwerk binnen het Bittensor-ecosysteem dat zich richt op de gezamenlijke training van large language models. Het project beoogt een trustless alternatief te bieden voor de gecentraliseerde aanpak die momenteel wordt gedomineerd door grote technologiebedrijven. Door gebruik te maken van een wereldwijd netwerk van onafhankelijke deelnemers, streeft het ernaar de hoge kosten- en middelenbarrières te verlagen die kleinere entiteiten er doorgaans van weerhouden om state-of-the-art kunstmatige intelligentie-modellen te ontwikkelen. De technische basis van het project berust op een gedistribueerde aanpak van machine learning. Het maakt gebruik van een specifieke library genaamd Hivemind om het proces van het koppelen van duizenden individuele computers via het internet te vergemakkelijken voor het trainen van één enkel, uniform model. Dit systeem hanteert een methode die bekend staat als butterfly all-reduce voor gradient averaging. In deze configuratie voeren individuele miners lokale trainingen uit op toegewezen segmenten van een dataset, zoals de Fineweb-dataset van Hugging Face. Zodra de lokale updates zijn berekend, coördineert het netwerk om deze updates te middelen, wat resulteert in een globaal model dat de collectieve arbeid van alle deelnemers weerspiegelt. Er zijn twee primaire rollen binnen dit ecosysteem: miners en validators. Miners leveren de hoogwaardige rekenkracht, bandbreedte en verbindingen met lage latentie die nodig zijn om trainingsiteraties uit te voeren. Zij zijn verantwoordelijk voor het verwerken van gegevens en het bijdragen aan de gedeelde model state. Validators bewaken de integriteit van het netwerk door ervoor te zorgen dat miners legitiem werk verrichten. Zij coördineren de trainingsstappen, beheren model state-updates en evalueren de kwaliteit van bijdragen op basis van deterministische validatiemethoden. De bredere visie van het Distributed Training-project is het democratiseren van de ontwikkeling van foundation models. Door een landschap met stimulansen te creëren waarin rekenmiddelen worden gebundeld, hoopt het project modellen te creëren die niet door een enkele entiteit worden beheerd. Deze aanpak biedt een oplossing voor zorgen over AI-alignment en censuur door een transparanter en open-source pad naar hoogwaardige intelligentie mogelijk te maken. Het project wordt actief ontwikkeld op platforms zoals GitHub, waar de community werkt aan het verbeteren van de netwerkstabiliteit, het verminderen van de communicatie-overhead en het opschalen van de grootte van de getrainde modellen. Leer meer