A DGrid AI introduz uma nova estrutura Proof of Quality (Prova de Qualidade) projetada para avaliar as saídas de IA e melhorar a distribuição de recompensas em redes descentralizadas.
As redes de IA descentralizadas têm um problema de pagamento que os pesquisadores têm contornado silenciosamente por anos, e um artigo recente da DGrid AI coloca a questão diretamente na mesa. Os sistemas de pontuação de qualidade que impulsionam as recompensas dos nós têm dependido, em grande parte, de ter a resposta correta em mãos para comparar. Em produção, essa resposta raramente existe.
O artigo, o quarto da série de pesquisa contínua da DGrid sobre Proof of Quality (PoQ), propõe uma alternativa treinada e publica os números por trás dela. O PoQ usa pequenos modelos avaliadores para pontuar a qualidade de cada saída, e essas pontuações impulsionam as recompensas. Barato e escalável.
A DGrid construiu isso tijolo por tijolo: uma versão sensível ao custo que incorpora a latência na matemática do pagamento, uma camada de robustez adversarial que se mantém quando os avaliadores se tornam mentirosos ou preguiçosos, e uma estrutura que divide a "qualidade" em partes que podem ser inspecionadas. Engenharia sólida. E cada camada continuava batendo na mesma parede.
A estrutura básica de uma rede de inferência descentralizada cria um desafio de medição. Nós independentes executam modelos de linguagem e respondem a consultas de usuários. Essas respostas precisam ser pontuadas porque as pontuações determinam o pagamento. A verificação criptográfica de cada cálculo seria tecnicamente impecável, mas proibitivamente cara em escala, então o caminho prático tem sido a avaliação de qualidade automatizada usando modelos menores.
O trabalho anterior da DGrid desenvolveu essa abordagem incrementalmente, adicionando pagamentos ajustados à latência, defesas contra avaliadores manipuladores e uma análise mais granular do que "qualidade" realmente significa em um contexto de pontuação. O que não conseguiu resolver completamente foi o próprio sinal de avaliação.
O sinal mais forte que a equipe tinha era a similaridade semântica: comparar a saída do modelo com uma resposta correta conhecida e medir a distância entre elas no espaço de embeddings. Isso funciona em ambientes de benchmark onde as respostas de referência existem. Não funciona em uma rede ao vivo onde os usuários estão fazendo perguntas abertas e nenhuma verdade fundamental está esperando em um banco de dados.
Alternativas prontas testadas tiveram pior desempenho. Um cross-encoder NLI, uma classe de modelo projetada para avaliar o entailment lógico entre frases, retornou uma correlação de Pearson de -0,363 quando usado para avaliar a qualidade da resposta sem uma resposta de referência. Uma correlação negativa significa que o modelo era mais propenso a favorecer respostas ruins em vez de boas. Essa não é uma ferramenta de avaliação utilizável.
Em vez de adaptar modelos existentes, os pesquisadores treinaram três juízes especificamente para pontuação de qualidade sem referência. Cada um recebe uma pergunta e uma resposta como entrada e gera uma pontuação de 0 a 10, sem que nenhuma resposta correta seja fornecida.
Os três modelos diferem principalmente em tamanho e velocidade:
O treinamento seguiu um processo de duas etapas. Os modelos foram primeiro pré-treinados no UltraFeedback, um conjunto de dados público de respostas avaliadas pelo GPT-4, antes de serem ajustados finamente na própria distribuição de tarefas da rede. A intenção era dar aos juízes uma compreensão ampla e básica de qualidade antes de focar sua atenção no contexto de pontuação específico.
Em um conjunto de teste retido de 300 exemplos, o juiz DeBERTa alcançou uma correlação de Pearson de 0,747 contra o proxy de verdade fundamental — sem acesso a nenhuma resposta de referência. Os avaliadores baseados em referência da estrutura anterior, que tinham acesso a respostas corretas, atingiram um máximo de 0,647.
A diferença tem uma explicação direta. Os avaliadores mais antigos eram métricas de similaridade que mediam a distância de cosseno para um embedding de referência. Os novos juízes foram otimizados de ponta a ponta para a própria tarefa de pontuação. A diferença de desempenho reflete essa distinção mais do que qualquer avanço arquitetônico.
Uma ressalva que os autores incluem: a verdade fundamental usada aqui é, por si só, um proxy — sobreposição de palavras em nível de token, em vez de julgamento humano. Os juízes se correlacionam bem com essa métrica, mas se a sobreposição de palavras reflete de forma confiável o que um humano consideraria uma resposta de qualidade é uma questão separada e não resolvida.
Duas características orientadas para a implantação acompanham os juízes. Um pipeline em cascata encaminha as consultas primeiro através do modelo leve e as escala para modelos mais pesados apenas quando as pontuações são ambíguas, reduzindo os custos de avaliação em até 72,7% na configuração de limite mais agressiva, embora a correlação caia para cerca de 0,51 nessa configuração. Um mecanismo de calibração online, operando sem ajuste manual, identifica consistentemente a qualidade semântica como o sinal dominante e ajusta os pesos de acordo, atribuindo-lhe 4,7 vezes o seu peso inicial ao longo do tempo.
Os juízes atuam de forma desigual entre os tipos de tarefas. Em resposta a perguntas, a correlação atinge 0,830. Na sumarização, ela cai para 0,199. O artigo atribui isso não a uma falha nos próprios juízes, mas à métrica de avaliação utilizada durante o treinamento: a sobreposição bruta de palavras é uma medida pobre da qualidade da sumarização, então os modelos treinados com ela aprendem a rastrear um sinal fraco. Os autores descrevem isso como o principal problema em aberto, em vez de uma limitação conhecida sendo gerenciada silenciosamente.
Essa abordagem é consistente com a forma como o artigo apresenta seus resultados de forma geral — metodicamente, com os casos de falha tão claramente declarados quanto as melhorias. Quatro artigos nesta linha de pesquisa, o trabalho se assemelha menos a um anúncio de produto e mais a uma equipe fechando lacunas incrementalmente em algo que pretendem realmente implantar.
Divulgação: Este conteúdo é fornecido por terceiros. Nem crypto.news nem o autor deste artigo endossam qualquer produto mencionado nesta página. Os usuários devem realizar suas próprias pesquisas antes de tomar qualquer ação relacionada à empresa.
