FLock OFF, đặc biệt liên quan đến mã định danh SN96, là một dự án trí tuệ nhân tạo phi tập trung được xây dựng dưới dạng một subnet trên mạng lưới Bittensor. Được phát triển bởi đội ngũ FLock.io, dự án tập trung vào việc huy động nguồn lực cộng đồng cho dữ liệu đào tạo chất lượng cao nhằm phát triển các Small Language Models hiệu quả. Các mô hình này được thiết kế để chạy trên các thiết bị biên như điện thoại thông minh và phần cứng Internet of Things, nơi tài nguyên tính toán và năng lượng bị hạn chế. Tên gọi FLock OFF là viết tắt của FLock Open Federated Framework. Dự án đóng vai trò như một thị trường dữ liệu phi tập trung và không cần cấp quyền (permissionless), nơi những người đóng góp cộng tác để xây dựng các tập dữ liệu nhỏ gọn nhưng giàu tri thức. Cách tiếp cận này nhằm giải quyết một vấn đề phổ biến trong phát triển AI, khi các mô hình lớn đòi hỏi lượng dữ liệu và sức mạnh tính toán khổng lồ, khiến chúng khó sử dụng trên các thiết bị cầm tay. Mạng lưới hoạt động thông qua hai vai trò chính: miner và validator. Các miner đóng vai trò là những người đóng góp dữ liệu, thực hiện tinh lọc và tải các tập dữ liệu chất lượng cao lên các kho lưu trữ như Hugging Face. Những tập dữ liệu này được thiết kế riêng cho quá trình supervised fine tuning và preference optimization. Sau đó, các validator sẽ tải các tập dữ liệu này về và đánh giá chất lượng bằng cách đào tạo các bộ chuyển đổi chuyên dụng thông qua kỹ thuật gọi là Low Rank Adaptation trên một mô hình cơ sở tiêu chuẩn. Hiệu suất của mô hình thu được sẽ quyết định phần thưởng được phân phối cho những người đóng góp. Môi trường cạnh tranh này đảm bảo rằng chỉ những dữ liệu hữu ích và chính xác nhất mới được ưu tiên. Tầm nhìn rộng lớn hơn của dự án là dân chủ hóa việc đào tạo AI bằng cách loại bỏ các kho lưu trữ dữ liệu tập trung. Bằng cách sử dụng federated learning và sự điều phối của blockchain, FLock OFF cho phép những người tham gia đóng góp vào quá trình phát triển AI trong khi vẫn duy trì quyền riêng tư và quyền sở hữu dữ liệu. Dự án tận dụng một ngăn xếp kỹ thuật bao gồm PyTorch và thư viện HuggingFace Transformers để quản lý các quy trình đào tạo và đánh giá. Token liên quan đóng vai trò là lớp khuyến khích cho hệ sinh thái. Nó được sử dụng để thưởng cho những người tham gia vì những đóng góp của họ trong việc đào tạo mô hình và tinh lọc dữ liệu. Nó cũng đóng một vai trò trong quản trị và bảo mật mạng lưới, với các cơ chế như staking bắt buộc để tham gia và slashing để ngăn chặn hành vi độc hại hoặc các bài nộp chất lượng kém. Bằng cách kết hợp các khuyến khích kinh tế với việc tạo ra các tài sản AI chất lượng cao, dự án nhằm mục tiêu tạo ra một giải pháp thay thế mã nguồn mở cho các mô hình AI độc quyền.
Tìm hiểu thêm
