ChunkingGiá

(SN40)

Chunking (sn40) là một Subnet chuyên biệt trong mạng lưới Bittensor dành riêng cho việc tối ưu hóa xử lý dữ liệu cho các Large Language Models. Trọng tâm chính của nó là phát triển các thuật toán "Smart Chunking". Điều này bao gồm việc chia nhỏ các tập dữ liệu lớn, phức tạp thành các phân đoạn nhỏ hơn, có ý nghĩa về mặt ngữ nghĩa. Bằng cách khuyến khích các Miner tạo ra các đoạn dữ liệu dễ tìm kiếm và có liên quan đến ngữ cảnh hơn, SN40 trực tiếp cải thiện độ chính xác và hiệu quả của các phản hồi AI, đóng vai trò như một lớp cơ sở hạ tầng quan trọng cho trí tuệ phi tập trung.

Hầu hết các hệ thống RAG tiêu chuẩn sử dụng giới hạn ký tự cơ bản để chia văn bản, điều này thường dẫn đến việc mất ngữ cảnh. SN40 khuyến khích "Smart Chunking", một phương pháp ưu việt sử dụng ý nghĩa ngữ nghĩa để xác định nơi văn bản nên được chia nhỏ. Điều này đảm bảo rằng khi một AI truy xuất thông tin, nó sẽ truy cập được dữ liệu liên quan nhất mà không làm mất ngữ cảnh xung quanh. Bằng cách thưởng cho các Miner vì duy trì tính toàn vẹn của ngữ nghĩa, SN40 nâng cao đáng kể độ chính xác của đầu ra AI trong các tác vụ truy xuất và tạo sinh phức tạp.

VectorChat là tổ chức và đội ngũ phát triển chính đứng sau Subnet SN40. Họ đã tạo ra một "vòng lặp nhu cầu" bằng cách sử dụng công nghệ Smart Chunking được tạo ra bởi các Miner của Subnet để vận hành các giải pháp AI tích hợp theo chiều dọc của riêng họ. Sự tích hợp theo chiều dọc này đảm bảo rằng các tiến bộ công nghệ do các Miner phi tập trung tạo ra có ứng dụng thực tế ngay lập tức, thúc đẩy tiện ích của công nghệ được phát triển trong hệ sinh thái Chunking.

token sn40 là "alpha token" cụ thể cho Subnet 40. Theo khung vận hành Dynamic TAO (dTAO), mỗi Subnet có token duy nhất của riêng mình tồn tại trong một liquidity pool được ghép cặp với TAO. Người dùng có thể swap lấy token sn40 thông qua Automated Market Maker (AMM) nội bộ của mạng lưới Bittensor. Thông tin liên quan đến hiệu suất của token và số liệu thống kê mạng lưới có thể được theo dõi thông qua các trình khám phá blockchain chính thức và các bảng điều khiển hệ sinh thái được hỗ trợ.

Khai thác trên SN40 là một quá trình tiêu tốn nhiều tài nguyên, đòi hỏi phần cứng hiệu suất cao. Các Miner thường cần CPU mạnh mẽ và GPU chuyên dụng, chẳng hạn như các mẫu NVIDIA A100 hoặc H100, để chạy các mô hình embedding phức tạp cần thiết cho việc phân đoạn ngữ nghĩa. Hơn nữa, băng thông mạng cao là thiết yếu để đồng bộ hóa các tập dữ liệu lớn. Các yêu cầu này đảm bảo rằng Subnet duy trì các tiêu chuẩn cao về tốc độ và chất lượng xử lý dữ liệu.

Các Validator đánh giá Miner dựa trên khả năng tạo ra các phân đoạn dữ liệu chất lượng cao và có liên quan. Các chỉ số hiệu suất chính bao gồm Cosine Similarity, đo lường mức độ khớp của một phân đoạn với một truy vấn cụ thể. Ngoài ra, các Miner được tính điểm dựa trên khả năng tối đa hóa "inter-chunk dissimilarity" trong khi vẫn duy trì "intra-chunk similarity" cao. Điều này đảm bảo rằng mỗi phân đoạn là riêng biệt nhưng vẫn nhất quán về nội dung, cung cấp cấu trúc dữ liệu hiệu quả nhất để các mô hình AI tham chiếu.