Distributed TrainingCena

(SN38)

Subnet 38 to wyspecjalizowany oddział w ekosystemie Bittensor skupiony na rozproszonym trenowaniu. W przeciwieństwie do subnetów opartych na inferencji, które jedynie uruchamiają istniejące modele, SN38 koordynuje rozległą sieć indywidualnych górników w celu wspólnego trenowania potężnych Large Language Models (LLM). Poprzez łączenie zdecentralizowanej mocy obliczeniowej, projekt dąży do dorównania możliwościom głównych scentralizowanych firm AI dzięki wspólnej pracy nad rozwojem, zasadniczo tworząc zdecentralizowany superkomputer do trenowania modeli.

Backprop Finance, znany również jako DSTRBTD, to organizacja założycielska odpowiedzialna za rozwój i utrzymanie podsieci Distributed Training. Dostarczają oni strukturę techniczną, w tym whitepapery i dokumentację, która nakreśla długoterminową wizję zdecentralizowanego trenowania AI. Użytkownicy i górnicy polegają na tym zespole w kwestii strategicznej mapy drogowej oraz aktualizacji architektury zarządzających wzrostem i wdrożeniem technologicznym subnetu.

Mining na SN38 jest zasobożerny i wymaga wysokiej klasy sprzętu. Uczestnicy zazwyczaj potrzebują procesorów graficznych NVIDIA z co najmniej 12 GB pamięci VRAM, choć preferowane są karty z wyższej półki z 24 GB lub więcej w celu uzyskania optymalnych nagród. Dodatkowo, wysoka przepustowość internetu jest kluczowa, ponieważ górnicy korzystają z biblioteki Hivemind do stałej komunikacji. Prawidłowa konfiguracja zapory sieciowej i stabilna łączność peer-to-peer są niezbędne, aby uniknąć błędów podczas kroków zdecentralizowanego uśredniania w procesie trenowania.

Token SN38 służy jako aktywo specyficzne dla danego subnetu, reprezentujące udział w sukcesie podsieci. Jest używany do motywowania górników, którzy dostarczają niezbędną moc obliczeniową do trenowania modeli na dużą skalę. Token pozwala uczestnikom na angażowanie się w wewnętrzną gospodarkę subnetu i funkcjonuje jako mechanizm nagród dla tych, którzy przyczyniają się do wspólnych celów treningowych sieci.

Butterfly All-Reduce to kluczowy algorytm techniczny używany przez SN38 do synchronizacji trenowania modeli na tysiącach niezależnych komputerów. Pozwala on górnikom uśredniać wagi ich modeli w całej sieci bez polegania na centralnym serwerze. Gwarantuje to, że każdy uczestnik jednocześnie przyczynia się do tego samego globalnego modelu, przezwyciężając ogromne wąskie gardła przepustowości, które tradycyjnie sprawiają, że trenowanie rozproszone jest wolniejsze niż w przypadku scentralizowanych klastrów serwerów.

Głównym wyróżnikiem SN38 jest architektura wspólnego trenowania. Podczas gdy inne subnety często wymagają od górników rywalizacji o dostarczenie najlepszego indywidualnego modelu, SN38 wymaga od nich wspólnej pracy nad jednym, zunifikowanym modelem. Ta kooperacyjna metoda ma na celu udowodnienie, że zdecentralizowana koordynacja może być skalowana do trenowania potężnych modeli z 70 miliardami lub więcej parametrów, co wcześniej było osiągalne jedynie dla dużych scentralizowanych korporacji dysponujących ogromnymi prywatnymi centrami danych.