एक सुरक्षा शोधकर्ता द्वारा यह पता चलने के बाद कि एआई कोडिंग सहायक कुछ उपयोगकर्ताओं के स्थान, प्रॉक्सी उपयोग और चीनी एआई प्रयोगशालाओं से संभावित संबंधों की पहचान करने के लिए अज्ञात मार्करों का उपयोग कर रहा था, एंथ्रोपिक ने क्लाउड कोड से एक छिपी हुई ट्रैकिंग प्रणाली हटा दी है।

यह सुविधा, जिसे जून में डेवलपर "थेरेलो" द्वारा खोजा गया था, ने क्लाउड कोड के सिस्टम प्रॉम्प्ट में सिग्नल एम्बेड किए थे जो उन उपयोगकर्ताओं को फ़्लैग कर सकते थे जिनके बारे में एंथ्रोपिक का मानना था कि वे प्रतिबंधों को दरकिनार कर रहे थे या मॉडल क्षमताओं को निकालने का प्रयास कर रहे थे।

“एंथ्रोपिक शायद एपीआई रीसेलर, अनधिकृत क्लाउड कोड गेटवे और मॉडल 'डिस्टिलेशन अटैक' पाइपलाइन का पता लगाना चाहता है,” थेरेलो ने लिखा। “एक कस्टम ANTHROPIC_BASE_URL जो एक ज्ञात रीसेलर डोमेन की ओर इशारा करता है, एक उपयोगी संकेत है। डीपसीक या ज़ीपू वाला होस्टनाम भी एक उपयोगी संकेत है।”

थेरेलो ने कहा कि रीसेलर, अनधिकृत क्लाउड कोड गेटवे और संभावित डिस्टिलेशन हमलों का पता लगाने का एंथ्रोपिक का प्रयास समझ में आता है, लेकिन उन्होंने इसके तरीके की आलोचना की, यह देखते हुए कि क्लाउड कोड ने दस्तावेज़ीकरण या रिलीज़ नोट्स के माध्यम से सिस्टम का खुलासा करने के बजाय यूनिकोड मार्कर और एन्कोडेड डोमेन सूचियों का उपयोग करके सिस्टम प्रॉम्प्ट के अंदर ट्रैकिंग सिग्नल छिपाए थे।

“यह कोई दुर्भावनापूर्ण सुविधा नहीं है, लेकिन यह एक डेवलपर टूल के लिए एक अजीब विकल्प है जो विश्वास मांगता है,” थेरेलो ने लिखा।

ट्रैकर ऑनलाइन सामने आने के बाद, एंथ्रोपिक इंजीनियर थारिक शिहिपार ने एक्स पर कहा कि इसे मार्च में एक "प्रयोग" के रूप में पेश किया गया था ताकि अनधिकृत रीसेलर द्वारा खाते के दुरुपयोग को रोका जा सके और क्लाउड को डिस्टिलेशन हमलों से बचाया जा सके।

“टीम ने तब से मजबूत शमन किए हैं और हम वास्तव में इसे कुछ समय से हटाने का इरादा कर रहे थे,” शिहिपार ने पिछले सप्ताह लिखा। “हमने [पुल रिक्वेस्ट] को मर्ज कर दिया है और इसे कल के रिलीज़ में पूरी तरह से वापस ले लिया जाना चाहिए।”

यह खबर ऐसे समय में आई है जब एंथ्रोपिक ने एआई मॉडल डिस्टिलेशन के बारे में चेतावनियां बढ़ा दी हैं, जहां एक सिस्टम के आउटपुट का उपयोग दूसरे मॉडल को प्रशिक्षित करने के लिए किया जाता है। जबकि यह प्रथा एआई अनुसंधान में आम है, जब भू-राजनीति की बात आती है, तो डिस्टिलेशन एक राष्ट्रीय सुरक्षा चिंता बन जाता है। इस महीने की शुरुआत में, अलीबाबा ने सुरक्षा चिंताओं को लेकर क्लाउड कोड को "उच्च जोखिम वाला" सॉफ्टवेयर बताते हुए कर्मचारियों को इसका उपयोग करने से प्रतिबंधित कर दिया था।

फरवरी में, एंथ्रोपिक ने चीनी एआई डेवलपर्स डीपसीक, मूनशॉट एआई और मिनिमाक्स पर प्रतिस्पर्धी मॉडल को प्रशिक्षित करने के लिए लाखों क्लाउड प्रतिक्रियाओं को निकालने के लिए धोखाधड़ी वाले खातों का उपयोग करने का आरोप लगाया। इन दावों पर आलोचकों की ओर से विरोध हुआ, जिन्होंने सवाल किया कि यह प्रथा एआई उद्योग में उपयोग की जाने वाली अन्य विधियों से कैसे भिन्न है।

अप्रैल में, एलन मस्क ने गवाही दी कि xAI ने ग्रोक को प्रशिक्षित करते समय "आंशिक रूप से" OpenAI मॉडल का उपयोग किया था, जिसे डिस्टिलेशन एक व्यापक उद्योग प्रथा कहा गया। जून में, एंथ्रोपिक के सीईओ डारियो अमोडेई ने कांग्रेस से विदेशी एआई निष्कर्षण के खिलाफ सुरक्षा को मजबूत करने का आग्रह किया, यह आरोप लगाते हुए कि अलीबाबा से जुड़े ऑपरेटरों ने लगभग 25,000 धोखाधड़ी वाले खातों का उपयोग करके 28.8 मिलियन क्लाउड एक्सचेंजों का उत्पादन किया।

एंथ्रोपिक ने डिक्रिप्ट द्वारा टिप्पणी के अनुरोध पर तुरंत कोई प्रतिक्रिया नहीं दी।