Distributed TrainingPreço

(SN38)

A Subnet 38 é uma divisão especializada dentro do ecossistema Bittensor focada em treinamento distribuído. Ao contrário de subnets baseadas em inferência que apenas executam modelos existentes, a SN38 coordena uma vasta rede de mineradores individuais para treinar coletivamente modelos de linguagem de grande escala (LLMs). Ao agrupar poder computacional descentralizado, o projeto visa igualar as capacidades das principais empresas de IA centralizadas por meio do desenvolvimento colaborativo, criando essencialmente um supercomputador descentralizado para o treinamento de modelos.

A Backprop Finance, também conhecida como DSTRBTD, é a organização fundadora responsável pelo desenvolvimento e manutenção da sub-rede Distributed Training. Eles fornecem a estrutura técnica, incluindo whitepapers e documentação, que descreve a visão de longo prazo para o treinamento de IA descentralizado. Usuários e mineradores recorrem a esta equipe para o roteiro estratégico e atualizações de arquitetura que regem o crescimento e a implementação tecnológica da subnet.

A mineração na SN38 consome muitos recursos e exige hardware de ponta. Os participantes normalmente precisam de GPUs NVIDIA com pelo menos 12GB de VRAM, embora placas de alto desempenho com 24GB ou mais sejam preferidas para recompensas ideais. Além disso, uma alta largura de banda de internet é crítica porque os mineradores usam a biblioteca Hivemind para se comunicarem constantemente. A configuração adequada de firewall e a conectividade peer-to-peer estável são essenciais para evitar erros durante as etapas de média descentralizada do processo de treinamento.

O token SN38 serve como um ativo específico da subnet que representa uma participação no sucesso da sub-rede. Ele é usado para incentivar mineradores que fornecem o poder computacional necessário para o treinamento de modelos de larga escala. O token permite que os participantes se envolvam com a economia interna da subnet e funciona como um mecanismo de recompensa para aqueles que contribuem para os objetivos de treinamento coletivo da rede.

O Butterfly All-Reduce é um algoritmo técnico fundamental usado pela SN38 para sincronizar o treinamento de modelos em milhares de computadores independentes. Ele permite que os mineradores tirem a média dos pesos de seus modelos em toda a rede sem depender de um servidor central. Isso garante que cada participante esteja contribuindo para o mesmo modelo global simultaneamente, superando os gargalos massivos de largura de banda que tradicionalmente tornam o treinamento distribuído mais lento do que clusters de servidores centralizados.

O principal diferencial da SN38 é sua arquitetura de treinamento colaborativo. Enquanto outras subnets frequentemente têm mineradores competindo para enviar o melhor modelo individual, a SN38 exige que os mineradores trabalhem juntos em um único modelo unificado. Este método cooperativo foi projetado para provar que a coordenação descentralizada pode escalar para treinar modelos massivos com 70 bilhões ou mais de parâmetros, algo que anteriormente só era alcançável por grandes corporações centralizadas com enormes data centers privados.