Kup Distributed Training (SN38) w Mexico

Distributed Training (sn38) to zdecentralizowana podsieć w ramach ekosystemu Bittensor, koncentrująca się na kolaboracyjnym trenowaniu dużych modeli językowych. Projekt ma na celu zapewnienie alternatywy typu trustless dla scentralizowanego podejścia, zdominowanego obecnie przez wielkie korporacje technologiczne. Wykorzystując globalną sieć niezależnych uczestników, dąży do obniżenia wysokich kosztów i barier zasobowych, które zazwyczaj uniemożliwiają mniejszym podmiotom opracowywanie najnowocześniejszych modeli sztucznej inteligencji. Techniczny fundament projektu opiera się na rozproszonym podejściu do uczenia maszynowego. Wykorzystuje on specyficzną bibliotekę o nazwie Hivemind, aby ułatwić proces łączenia tysięcy poszczególnych komputerów przez internet w celu wytrenowania jednego, ujednoliconego modelu. System ten stosuje metodę znaną jako butterfly all-reduce do uśredniania gradientów. W tej konfiguracji poszczególni minerzy przeprowadzają lokalny trening na przydzielonych segmentach zbioru danych, takich jak zbiór danych Fineweb z Hugging Face. Po obliczeniu lokalnych aktualizacji, sieć koordynuje uśrednianie tych zmian, co skutkuje powstaniem globalnego modelu odzwierciedlającego zbiorową pracę wszystkich uczestników. W tym ekosystemie istnieją dwie główne role: minerzy i walidatorzy. Minerzy zapewniają wysokiej klasy moc obliczeniową, przepustowość i połączenia o niskim opóźnieniu, niezbędne do wykonywania iteracji treningowych. Są odpowiedzialni za przetwarzanie danych i wnoszenie wkładu w stan współdzielonego modelu. Walidatorzy zarządzają integralnością sieci, upewniając się, że minerzy wykonują rzetelną pracę. Koordynują kroki treningowe, obsługują aktualizacje stanu modelu i oceniają jakość wkładu w oparciu o deterministyczne metody walidacji. Szerszą wizją projektu Distributed Training jest demokratyzacja rozwoju modeli bazowych. Poprzez stworzenie systemu motywacyjnego, w którym zasoby obliczeniowe są łączone, projekt ma nadzieję na stworzenie modeli, które nie są zarządzane przez jeden podmiot. Takie podejście rozwiązuje obawy dotyczące alignmentu AI i cenzury, umożliwiając bardziej transparentną i opartą na open-source ścieżkę ku inteligencji wysokiego poziomu. Projekt jest aktywnie rozwijany na platformach takich jak GitHub, gdzie społeczność pracuje nad poprawą stabilności sieci, redukcją kosztów komunikacyjnych i skalowaniem rozmiarów trenowanych modeli. Dowiedz się więcej