DGrid AI introduce un nou cadru Proof of Quality (Dovadă a Calității) conceput pentru a evalua rezultatele AI și a îmbunătăți distribuția recompenselor în rețelele descentralizate.
Rețelele AI descentralizate se confruntă cu o problemă de plată la care cercetătorii lucrează de ani de zile, iar o lucrare recentă de la DGrid AI aduce problema direct în discuție. Sistemele de punctare a calității care stau la baza recompenselor nodurilor au depins în mare măsură de existența răspunsului corect la îndemână pentru a face o comparație. În producție, acest răspuns rareori există.
Lucrarea, a patra dintr-o serie de cercetări în curs de desfășurare a DGrid privind Proof of Quality (PoQ), propune o alternativă antrenată și publică cifrele din spatele acesteia. PoQ utilizează modele de evaluare mici pentru a puncta calitatea fiecărui rezultat, iar aceste scoruri determină recompensele. Este economic și scalabil.
DGrid a construit acest sistem pas cu pas: o versiune conștientă de costuri care integrează latența în calculul plăților, un strat de rezistență la atacuri care rezistă atunci când evaluatorii devin mincinoși sau leneși, și un cadru care împarte „calitatea” în părți pe care le poți inspecta. Inginerie solidă. Și fiecare strat se lovea de același perete.
Structura de bază a unei rețele de inferență descentralizate creează o provocare de măsurare. Nodurile independente rulează modele lingvistice și răspund la interogările utilizatorilor. Aceste răspunsuri trebuie punctate, deoarece punctajele determină plata. Verificarea criptografică a fiecărei calcule ar fi impecabilă din punct de vedere tehnic, dar prohibitiv de scumpă la scară largă, astfel încât calea practică a fost evaluarea automată a calității folosind modele mai mici.
Munca anterioară a DGrid a dezvoltat această abordare incremental, adăugând plăți ajustate la latență, apărări împotriva evaluatorilor manipulatori și o detaliere mai granulară a ceea ce înseamnă de fapt „calitate” într-un context de punctare. Ceea ce nu a putut rezolva pe deplin a fost semnalul de evaluare în sine.
Cel mai puternic semnal pe care echipa l-a avut a fost similitudinea semantică: compară rezultatul modelului cu un răspuns corect cunoscut și măsoară distanța dintre ele în spațiul de embedding. Acest lucru funcționează în medii de referință unde există răspunsuri de referință. Nu funcționează într-o rețea live unde utilizatorii pun întrebări deschise și nu există un „ground truth” care să aștepte într-o bază de date.
Alternativele standard (off-the-shelf) au dat rezultate mai slabe. Un cross-encoder NLI, o clasă de modele concepută pentru a evalua implicația logică între propoziții, a returnat o corelație Pearson de -0.363 atunci când a fost utilizat pentru a evalua calitatea răspunsului fără un răspuns de referință. O corelație negativă înseamnă că modelul a fost mai probabil să favorizeze răspunsurile slabe în detrimentul celor bune. Acesta nu este un instrument de evaluare utilizabil.
În loc să adapteze modele existente, cercetătorii au antrenat trei judecători special pentru punctarea calității fără referință. Fiecare primește o întrebare și un răspuns ca intrare și generează un scor de la 0 la 10, fără a fi furnizat un răspuns corect.
Cele trei modele diferă în principal prin dimensiune și viteză:
Antrenamentul a urmat un proces în două etape. Modelele au fost pre-antrenate inițial pe UltraFeedback, un set de date public de răspunsuri evaluate de GPT-4, înainte de a fi ajustate (fine-tuning) pe propria distribuție de sarcini a rețelei. Intenția a fost de a oferi judecătorilor o înțelegere generală a calității înainte de a-și restrânge focalizarea la contextul specific de punctare.
Pe un set de testare reținut de 300 de exemple, judecătorul DeBERTa a atins o corelație Pearson de 0.747 față de proxy-ul „ground truth” — fără a avea acces la vreun răspuns de referință. Evaluatorii bazați pe referințe din cadrul anterior, care aveau acces la răspunsuri corecte, au atins un maxim de 0.647.
Diferența are o explicație simplă. Evaluatorii mai vechi erau metrici de similitudine care măsurau distanța cosinus față de un embedding de referință. Noii judecători au fost optimizați end-to-end pentru sarcina de punctare în sine. Diferența de performanță reflectă această distincție mai mult decât orice inovație arhitecturală.
O mențiune de avertizare pe care autorii o includ: „ground truth”-ul utilizat aici este în sine un proxy — suprapunerea de cuvinte la nivel de token, mai degrabă decât judecata umană. Judecătorii corelează bine cu această metrică, dar dacă suprapunerea de cuvinte reflectă în mod fiabil ceea ce un om ar considera un răspuns de calitate este o întrebare separată, nerezolvată.
Două caracteristici orientate spre implementare însoțesc judecătorii. O conductă în cascadă rutează interogările mai întâi prin modelul ușor și le escaladează către modele mai grele doar atunci când scorurile sunt ambigue, reducând costurile de evaluare cu până la 72,7% la setarea pragului cel mai agresiv, deși corelația scade la aproximativ 0,51 în acea configurație. Un mecanism de calibrare online, care rulează fără ajustare manuală, identifică în mod constant calitatea semantică drept semnalul dominant și ajustează ponderile în consecință, atribuindu-i de 4,7 ori greutatea inițială în timp.
Judecătorii performează inegal pe diferite tipuri de sarcini. La răspunsuri la întrebări, corelația atinge 0.830. La sumarizare, scade la 0.199. Lucrarea atribuie acest lucru nu unei eșecuri a judecătorilor înșiși, ci metricii de evaluare utilizate în timpul antrenamentului: suprapunerea brută de cuvinte este o măsură slabă a calității sumarizării, așa că modelele antrenate pe baza acesteia învață să urmărească un semnal slab. Autorii descriu aceasta ca fiind principala problemă deschisă, mai degrabă decât o limitare cunoscută gestionată discret.
Această abordare este în concordanță cu modul în care lucrarea își prezintă rezultatele în ansamblu — metodic, cu cazurile de eșec la fel de clar menționate ca și îmbunătățirile. Patru lucrări în acest fir de cercetare, munca se citește mai puțin ca un anunț de produs și mai mult ca o echipă care elimină treptat lacunele într-un sistem pe care intenționează să-l implementeze.
Dezvăluire: Acest conținut este furnizat de o terță parte. Nici crypto.news, nici autorul acestui articol nu susțin niciun produs menționat pe această pagină. Utilizatorii ar trebui să efectueze propria cercetare înainte de a lua orice acțiune legată de companie.
