Anthropic a eliminat un sistem de urmărire ascuns din Claude Code după ce un cercetător în securitate a descoperit că asistentul de codare AI folosea marcaje nedezvăluite pentru a identifica locația unor utilizatori, utilizarea de proxy și posibilele legături cu laboratoarele chineze de AI.
Funcționalitatea, descoperită în iunie de dezvoltatorul „Thereallo”, a încorporat semnale în prompturile de sistem ale Claude Code care puteau semnala utilizatorii pe care Anthropic îi considera că eludează restricțiile sau încearcă să extragă capabilitățile modelului.
„Anthropic probabil vrea să detecteze revânzătorii de API-uri, gateway-urile neautorizate pentru Claude Code și conductele de „atac de distilare” a modelului”, a scris Thereallo. „Un ANTHROPIC_BASE_URL personalizat care indică un domeniu de revânzător cunoscut este un semnal util. Un hostname care conține deepseek sau zhipu este, de asemenea, un semnal util.”
Thereallo a spus că încercarea Anthropic de a detecta revânzătorii, gateway-urile neautorizate pentru Claude Code și potențialele atacuri de distilare era justificată, dar a criticat modul în care a fost realizată, menționând că Claude Code a ascuns semnale de urmărire în prompturile de sistem folosind marcaje Unicode și liste de domenii codificate, în loc să dezvăluie sistemul prin documentație sau note de lansare.
„Aceasta nu este o funcționalitate malițioasă, dar este o alegere ciudată pentru un instrument de dezvoltare care cere încredere”, a scris Thereallo.
După ce instrumentul de urmărire a fost dezvăluit online, inginerul Anthropic Thariq Shihipar a declarat pe X că acesta a fost introdus în martie ca un „experiment” pentru a opri abuzul de conturi de către revânzătorii neautorizați și pentru a proteja Claude de atacurile de distilare.
„Echipa a implementat măsuri de atenuare mai puternice de atunci și de fapt intenționam să o eliminăm de ceva vreme”, a scris Shihipar săptămâna trecută. „Am fuzionat [solicitarea de extragere] și aceasta ar trebui să fie complet anulată în lansarea de mâine.”
Vestea vine în contextul în care Anthropic a intensificat avertismentele cu privire la distilarea modelelor AI, unde rezultatele unui sistem sunt folosite pentru a antrena un alt model. Deși practica este comună în cercetarea AI, când vine vorba de geopolitică, distilarea devine o preocupare de securitate națională. La începutul acestei luni, Alibaba a interzis angajaților să utilizeze Claude Code, numind instrumentul software „cu risc ridicat” din motive de securitate.
În februarie, Anthropic a acuzat dezvoltatorii chinezi de AI DeepSeek, Moonshot AI și MiniMax că au folosit conturi frauduloase pentru a extrage milioane de răspunsuri Claude pentru a antrena modele concurente. Acuzațiile au atras critici din partea celor care au pus la îndoială cum diferă această practică de metodele utilizate în întreaga industrie AI.
În aprilie, Elon Musk a depus mărturie că xAI a folosit „parțial” modele OpenAI în timpul antrenării Grok, numind distilarea o practică mai largă a industriei. În iunie, CEO-ul Anthropic, Dario Amodei, a îndemnat Congresul să consolideze protecțiile împotriva extragerii străine de AI, după ce a susținut că operatori legați de Alibaba au generat 28,8 milioane de schimburi Claude folosind aproape 25.000 de conturi frauduloase.
Anthropic nu a răspuns imediat unei solicitări de comentarii din partea Decrypt.
