Comprar Distributed Training (SN38) en Brazil

Distributed Training (sn38) es una subred descentralizada dentro del ecosistema de Bittensor enfocada en el entrenamiento colaborativo de modelos de lenguaje extensos. El proyecto busca proporcionar una alternativa trustless al enfoque centralizado dominado actualmente por las grandes corporaciones tecnológicas. Al utilizar una red global de participantes independientes, busca reducir los altos costos y las barreras de recursos que suelen impedir que las entidades más pequeñas desarrollen modelos de inteligencia artificial de vanguardia. La base técnica del proyecto se apoya en un enfoque distribuido del machine learning. Utiliza una librería específica llamada Hivemind para facilitar el proceso de vinculación de miles de computadoras individuales a través de internet para entrenar un modelo único y unificado. Este sistema emplea un método conocido como butterfly all-reduce para el promedio de gradientes. En esta configuración, los mineros individuales realizan entrenamientos locales en segmentos asignados de un conjunto de datos, como el Fineweb dataset de Hugging Face. Una vez calculadas las actualizaciones locales, la red se coordina para promediar estas actualizaciones, lo que da como resultado un modelo global que refleja el trabajo colectivo de todos los participantes. Existen dos roles principales dentro de este ecosistema: mineros y validadores. Los mineros proporcionan la potencia de cómputo de alto nivel, el ancho de banda y las conexiones de baja latencia necesarias para ejecutar las iteraciones de entrenamiento. Son responsables de procesar los datos y contribuir al estado compartido del modelo. Los validadores gestionan la integridad de la red asegurándose de que los mineros estén realizando un trabajo legítimo. Coordinan los pasos de entrenamiento, manejan las actualizaciones del estado del modelo y evalúan la calidad de las contribuciones basándose en métodos de validación deterministas. La visión más amplia del proyecto Distributed Training es democratizar el desarrollo de modelos fundacionales. Al crear un entorno incentivado donde se agrupan los recursos informáticos, el proyecto espera crear modelos que no estén gobernados por una sola entidad. Este enfoque aborda las preocupaciones relativas a la alineación de la IA y la censura, al permitir un camino más transparente y de código abierto hacia una inteligencia de alto nivel. El proyecto se mantiene en desarrollo activo en plataformas como GitHub, donde la comunidad trabaja para mejorar la estabilidad de la red, reducir la sobrecarga de comunicación y escalar el tamaño de los modelos que se están entrenando. Aprende más