Distributed Training價格

(SN38)

Subnet 38 是 Bittensor 生態系統中一個專注於分佈式訓練的專業部門。與僅運行現有模型的基於推理的子網不同，SN38 協調廣大的個人礦工網路，共同訓練大規模的 Large Language Models (LLMs)。透過匯集去中心化算力，該項目旨在透過協作開發來達到大型中心化 AI 公司的能力，本質上是為模型訓練創建了一個去中心化超級電腦。

Backprop Finance（又稱 DSTRBTD）是負責開發和維護 Distributed Training 子網的創始組織。他們提供技術框架，包括白皮書和文件，勾勒出去中心化 AI 訓練的長期願景。用戶和礦工依賴該團隊提供的策略路線圖和架構更新，以管理子網的增長和技術實作。

在 SN38 上挖礦屬於資源密集型，需要高端硬體。參與者通常需要配備至少 12GB VRAM 的 NVIDIA GPUs，但為了獲得最佳獎勵，建議使用 24GB 或更高容量的高階顯卡。此外，高網路頻寬至關重要，因為礦工使用 Hivemind 庫進行持續通信。正確的防火牆配置和穩定的點對點連線性對於避免訓練過程中去中心化平均步驟的錯誤至關重要。

SN38 代幣是子網特定的資產，代表在該子網成功中的權益。它用於激勵為大規模模型訓練提供必要算力的礦工。該代幣允許參與者參與子網的內部經濟，並作為對那些為網路集體訓練目標做出貢獻的人的獎勵機制。

Butterfly All-Reduce 是 SN38 用於在數千台獨立電腦之間同步模型訓練的關鍵技術演算法。它允許礦工在不依賴中央伺服器的情況下，在整個網路中平均其模型權重。這確保了每個參與者都在同時為同一個全域模型做出貢獻，克服了傳統上使分佈式訓練比中心化伺服器集群更慢的大量頻寬瓶頸。

SN38 的主要區別在於其協作訓練架構。雖然其他子網通常讓礦工競爭提交最佳的個人模型，但 SN38 要求礦工在一個統一的模型上共同協作。這種合作方法旨在證明，去中心化協調可以擴展到訓練具有 700 億或更多參數的大規模模型，而這在以前只能由擁有大型私人數據中心的大型中心化公司實現。