Distributed TrainingGiá

(SN38)

Subnet 38 là một phân nhánh chuyên biệt trong hệ sinh thái Bittensor tập trung vào việc đào tạo phân tán (distributed training). Khác với các subnet dựa trên suy luận (inference-based subnets) vốn chỉ chạy các mô hình hiện có, SN38 điều phối một mạng lưới rộng lớn các miner riêng lẻ để cùng nhau đào tạo các Mô hình Ngôn ngữ Lớn (LLMs) đồ sộ. Bằng cách tập hợp sức mạnh tính toán phi tập trung, dự án đặt mục tiêu đạt được năng lực tương đương với các công ty AI tập trung lớn thông qua phát triển cộng tác, về cơ bản là tạo ra một siêu máy tính phi tập trung để đào tạo mô hình.

Backprop Finance, còn được gọi là DSTRBTD, là tổ chức sáng lập chịu trách nhiệm phát triển và duy trì subnetwork Distributed Training. Họ cung cấp khung kỹ thuật, bao gồm whitepapers và tài liệu hướng dẫn, phác thảo tầm nhìn dài hạn cho việc đào tạo AI phi tập trung. Người dùng và miner dựa vào đội ngũ này để nắm bắt lộ trình chiến lược và các cập nhật kiến trúc quản lý sự tăng trưởng cũng như triển khai công nghệ của subnet.

Việc mining trên SN38 tiêu tốn rất nhiều tài nguyên và yêu cầu phần cứng cao cấp. Người tham gia thường cần GPU NVIDIA với ít nhất 12GB của VRAM, mặc dù các dòng card cao cấp với 24GB hoặc hơn được ưu tiên để đạt phần thưởng tối ưu. Ngoài ra, băng thông internet cao là cực kỳ quan trọng vì các miner sử dụng thư viện Hivemind để giao tiếp liên tục. Cấu hình tường lửa phù hợp và kết nối ngang hàng (peer-to-peer) ổn định là điều cần thiết để tránh lỗi trong các bước lấy trung bình phi tập trung (decentralized averaging) của quá trình đào tạo.

Token SN38 đóng vai trò là tài sản riêng của subnet, đại diện cho lợi ích trong sự thành công của subnet đó. Nó được sử dụng để khuyến khích các miner cung cấp sức mạnh tính toán cần thiết cho việc đào tạo các mô hình quy mô lớn. Token này cho phép người tham gia tương tác với nền kinh tế nội bộ của subnet và hoạt động như một cơ chế phần thưởng cho những người đóng góp vào các mục tiêu đào tạo chung của mạng lưới.

Butterfly All-Reduce là một thuật toán kỹ thuật then chốt được SN38 sử dụng để đồng bộ hóa việc đào tạo mô hình trên hàng nghìn máy tính độc lập. Nó cho phép các miner lấy trung bình trọng số mô hình (model weights) của họ trên toàn mạng lưới mà không cần dựa vào máy chủ trung tâm. Điều này đảm bảo rằng mọi người tham gia đều đang đóng góp vào cùng một mô hình toàn cầu một cách đồng thời, vượt qua các nút thắt cổ chai về băng thông vốn thường làm cho việc đào tạo phân tán chậm hơn so với các cụm máy chủ tập trung.

Điểm khác biệt chính của SN38 là kiến trúc đào tạo cộng tác. Trong khi các subnet khác thường để các miner cạnh tranh để gửi mô hình cá nhân tốt nhất, SN38 yêu cầu các miner hợp tác làm việc trên một mô hình thống nhất duy nhất. Phương pháp hợp tác này được thiết kế để chứng minh rằng sự điều phối phi tập trung có thể mở rộng để đào tạo các mô hình khổng lồ với 70 tỷ tham số trở lên, điều mà trước đây chỉ có thể thực hiện được bởi các tập đoàn tập trung lớn với các trung tâm dữ liệu riêng đồ sộ.