OpenZeppelin ने OpenAI के EVMbench ब्लॉकचेन सुरक्षा बेंचमार्क में कार्यप्रणालीगत कमियां चिन्हित की

एआई और ब्लॉकचेन सुरक्षा के उपयोग को लेकर एक विवाद सामने आ रहा है। OpenZeppelin ने स्मार्ट कॉन्ट्रैक्ट्स (EVMbench) के संबंध में OpenAI द्वारा जारी किए गए नए एआई बेंचमार्क का अध्ययन किया है, और कार्यप्रणाली के साथ-साथ परीक्षण किए जा रहे डेटा के संदूषण में कुछ मुद्दे पाए हैं।

एथेरियम वर्चुअल मशीन स्मार्ट कॉन्ट्रैक्ट्स में कमजोरियों की पहचान करने, उन्हें ठीक करने और उनका फायदा उठाने में एआई मॉडल कितने अच्छे हैं, इसका आकलन करने के लिए डिज़ाइन किया गया यह बेंचमार्क क्रिप्टो निवेश कंपनी पैराडिगम और स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं के बीच एक सहयोग का परिणाम है।

OpenZeppelin ने इस प्रस्ताव के लिए समर्थन व्यक्त किया, लेकिन इस बेंचमार्क प्रस्ताव के साथ भी वही जांच-पड़ताल की जो अन्य प्रमुख डीफाई प्रोटोकॉल को मापने के लिए उपयोग की जाती है। इससे बेंचमार्क की जांच हुई जिसने भविष्य में ब्लॉकचेन सुरक्षा से संबंधित एआई प्रदर्शन को कैसे मापा जाएगा, इस बारे में कई महत्वपूर्ण प्रश्न उठाए।

EVMbench को क्या करने के लिए डिज़ाइन किया गया है

EVMbench सॉलिडिटी कोड और EVM के तहत स्मार्ट कॉन्ट्रैक्ट्स में वास्तविक कमजोरियों के खिलाफ एआई मॉडल का परीक्षण करने के लिए एक बेंचमार्क के रूप में कार्य करता है, जिससे आप यह कर सकते हैं:

1. सॉलिडिटी कोड में सुरक्षा कमजोरियों की पहचान करना,
2. उन सुरक्षा कमजोरियों की गंभीरता को वर्गीकृत करना,
3. कमजोर सुरक्षा के लिए पैच की सिफारिश करना,
4. यह दिखाना कि हमलावर किसी कमजोरी का फायदा कैसे उठाएगा।

बेंचमार्क का लक्ष्य डेवलपर्स को यह मापने का एक वस्तुनिष्ठ तरीका प्रदान करना है कि उनका कोड ब्लॉकचेन-आधारित समाधान को कितनी प्रभावी ढंग से सुरक्षित करेगा जब वित्तीय दांव ऊंचे हों और ब्लॉकचेन का शोषण असीमित नुकसान का कारण बन सकता है।

ऑडिटिंग प्रक्रियाओं में एआई के बढ़ते उपयोग के साथ, ये बेंचमार्क ऑडिट/प्रोटोकॉल सुरक्षा के लिए एआई टूल के चयन पर विकास टीमों के निर्णयों को प्रभावित कर सकते हैं।

हालांकि, उच्च जोखिम वाले/कोई जीत न होने वाले वातावरण में एआई की तुलना करने के लिए एआई के बेंचमार्किंग में उच्च स्तर के व्यवस्थित अनुशासन की आवश्यकता होती है;

लेखक द्वारा छवि

OpenZeppelin की समीक्षा प्रक्रिया

OpenZeppelin के एक प्रतिनिधि के अनुसार, कंपनी ने EVMbench की समीक्षा उन सामान्य प्रक्रियाओं का पालन करते हुए करने का विकल्प चुना है, जिनका उपयोग बड़े विकेन्द्रीकृत वित्त प्रोटोकॉल का ऑडिट करने के लिए किया जाता है।

OpenZeppelin ने कई परियोजनाओं पर ऑडिट पूरा किया है, जिनमें Aave, Lido और Uniswap शामिल हैं, जो सभी अरबों डॉलर के लेनदेन को संसाधित करते हैं।

OpenZeppelin ने कहा कि इसका उद्देश्य इस पहल को चुनौती देना नहीं था; बल्कि, यह सुनिश्चित करना था कि एआई पर आधारित सुरक्षा दावे मनमानी और कठोर सांख्यिकीय कार्यप्रणाली द्वारा समर्थित हों।

कंपनी ने सार्वजनिक रूप से और जनता के साथ चर्चा में कहा कि आर्टिफिशियल इंटेलिजेंस बेंचमार्क जो ब्लॉकचेन परियोजनाओं के लिए सुरक्षा से संबंधित निर्णयों को प्रभावित करेंगे, उन्हें एक प्रतिकूल परीक्षण पास करना होगा।

मुख्य मुद्दा 1: प्रशिक्षण डेटा संदूषण

मेरे शोध के निष्कर्ष बताते हैं कि प्रशिक्षण डेटा का संदूषण काफी जोखिम प्रस्तुत करता है।

संदूषण तब होता है जब मशीन लर्निंग (ML) एल्गोरिदम के प्रदर्शन का आकलन करने के लिए उपयोग किया जाने वाला बेंचमार्क डेटासेट उन डेटा के साथ आंशिक या पूर्ण रूप से ओवरलैप होता है जिसका उपयोग एल्गोरिदम को प्रशिक्षित करने के लिए किया जाता है। यह ओवरलैप फुलाए हुए प्रदर्शन मेट्रिक्स को जन्म देगा।

EVMbench के संदर्भ में, संदूषण के बारे में चिंता है।

यदि बेंचमार्किंग डेटासेट के भीतर निहित कोई भी भेद्यता व्यापक रूप से उपलब्ध सार्वजनिक रिपॉजिटरी (जैसे, GitHub) या अन्य प्रकाशित अध्ययनों में मौजूद थी, तो एक संभावना है कि अत्यधिक उन्नत ML एल्गोरिदम ने उन पैटर्नों को याद कर लिया होगा (अर्थात, प्रशिक्षण डेटा और संबंधित प्रदर्शनों के बीच संबंध को याद रखना सीख लिया होगा)।

इस प्रकार एक एल्गोरिदम की तर्क करने की क्षमता के एक वैध माप के रूप में EVMbench बेंचमार्क की विश्वसनीयता कमजोर होती है।

ब्लॉकचेन सुरक्षा की दुनिया में तर्क महत्वपूर्ण है, जहां प्रतिकूल रचनात्मकता का एक वातावरण मौजूद है, जहां याद किए गए डेटा की व्याख्या (अर्थात, रिकॉल) पर निर्भरता विश्लेषणात्मक तर्क (अर्थात, तर्क) के सुसंगत अनुप्रयोगों को प्रदर्शित करने की तुलना में कहीं अधिक कठिन है।

मुख्य मुद्दा 2: भेद्यता वर्गीकरण त्रुटियां

OpenZeppelin ने भेद्यता वर्गीकरण के संबंध में अपनी दूसरी मुख्य चिंता में कहा है कि कई ऐसे मुद्दे हैं जिन्हें बहुत उच्च गंभीरता के रूप में वर्गीकृत किया गया है जिन्हें व्यावहारिक तरीके से उपयोग नहीं किया जा सकता है। उन्होंने हमें बताया कि इनमें से कम से कम चार उच्च गंभीरता वर्गीकरण वास्तव में अमान्य हैं क्योंकि, वास्तविक ब्लॉकचेन स्थितियों के तहत, इन कमजोरियों का वास्तव में फायदा नहीं उठाया जा सकता है।

गंभीरता वर्गीकरण प्रणाली का महत्व यह है कि:

• गंभीरता वर्गीकरण सबसे पहले सबसे महत्वपूर्ण मुद्दों को ठीक करने पर संसाधनों को केंद्रित करने में मदद करते हैं

• गंभीरता वर्गीकरण मॉडल स्कोर को प्रभावित करते हैं

• एआई क्षमता की सार्वजनिक धारणा गंभीरता वर्गीकरणों द्वारा आकार दी जाएगी

यदि कोई मॉडल एक गैर-शोषण योग्य मुद्दे को सही ढंग से कम प्राथमिकता देता है लेकिन उस मुद्दे को उच्च गंभीरता असाइन की गई है, तो उस मॉडल को ऐसा करने के लिए अनुचित रूप से दंडित किया जा सकता है। दूसरी ओर, एक मॉडल कई और मुद्दों को केवल यह निर्धारित किए बिना चिह्नित करने में सक्षम हो सकता है कि वे शोषण योग्य हैं या नहीं और उच्च स्कोर प्राप्त कर सकते हैं।

ये विसंगतियां बेंचमार्क की विश्वसनीयता को भी कमजोर करती हैं।

लेखक द्वारा छवि

ब्लॉकचेन सुरक्षा के लिए बेंचमार्क अखंडता क्यों मायने रखती है

आर्टिफिशियल इंटेलिजेंस को अपनाने को आकार देने वाला एक महत्वपूर्ण कारक

एक बेंचमार्क जो यह विश्वास दिलाता है कि एक विशेष एआई मॉडल कमजोरियों की प्रभावी ढंग से पहचान करने और उनका फायदा उठाने में सक्षम होगा, वह कुछ ऐसा है जो विकास टीमों को इसे अपनी उत्पादन ऑडिट पाइपलाइनों में शामिल करने के लिए प्रेरित कर सकता है।

विकेन्द्रीकृत वित्त (DeFi) के भीतर त्रुटिपूर्ण ऑडिटिंग टूल का उपयोग करने के गंभीर परिणाम हो सकते हैं जिनमें शामिल हैं:

- उपयोगकर्ता निधियों का नुकसान

- प्रोटोकॉल दिवालियापन

- शासन में व्यवधान

- प्रतिष्ठा को नुकसान

ब्लॉकचेन स्मार्ट कॉन्ट्रैक्ट्स आमतौर पर डिप्लॉय और अपरिवर्तनीय होते हैं। शासन समन्वय या माइग्रेशन के बिना सुरक्षा कमजोरियों को आसानी से पैच नहीं किया जा सकता है। यह सटीक भेद्यता वर्गीकरण और ठोस मूल्यांकन मेट्रिक्स की आवश्यकता को बढ़ाता है। एक अविश्वसनीय बेंचमार्क एआई-संचालित सुरक्षा उत्पादों में गलत विश्वास का माहौल बना सकता है।

स्मार्ट कॉन्ट्रैक्ट ऑडिटिंग में एआई की बढ़ती भूमिका

स्मार्ट कॉन्ट्रैक्ट्स की समीक्षा अब आमतौर पर आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके की जाती है। इस संबंध में एआई के उपयोग को इस प्रकार संक्षेपित किया जा सकता है:

- प्रोग्रामिंग कोड को प्री-स्कैन करने और पहचानी गई नई कमजोरियों का पता लगाने के लिए,

- कार्यात्मक या तार्किक त्रुटियों के लिए कोड का विश्लेषण करने में मानव ऑडिटर्स की सहायता करना,

- यदि त्रुटियां मिलती हैं तो कोड पैच के लिए सिफारिशें प्रदान करना, और

- भेद्यता के शोषण का अनुकरण करने वाले टेस्ट केस बनाना।

आर्टिफिशियल इंटेलिजेंस का प्रभावी उपयोग मानव ऑडिटर्स के काम का पूरक होगा, लेकिन उन्हें प्रतिस्थापित नहीं करेगा। हम इस तरह से आर्टिफिशियल इंटेलिजेंस के उपयोग को तेजी से देख रहे हैं। EVMbench इस उप-डोमेन में स्थापित मेट्रिक्स के खिलाफ एआई कितना अच्छा प्रदर्शन करता है, इसका मूल्यांकन करने का एक प्रयास है। OpenZeppelin इस मूल्यांकन पद्धति की आलोचना करता है, जिसमें बेंचमार्किंग उद्देश्यों के लिए एक सुरक्षित और उपयोगितावादी रूप से डिज़ाइन की गई मूल्यांकन प्रक्रिया की आवश्यकता पर ध्यान दिया गया है।

अंत में, कमजोरियों की सक्रिय रूप से तलाश करने वाले विरोधियों के संबंध में प्रभावी होने के लिए, मूल्यांकन प्रक्रियाओं को इस तरह से डिज़ाइन किया जाना चाहिए कि उन्हें 'गेम' न किया जा सके।

क्रिप्टो में एआई मूल्यांकन के लिए व्यापक निहितार्थ

EVMbench के इर्द-गिर्द का विवाद एआई का मूल्यांकन करते समय एक चल रही चुनौती पर प्रकाश डालता है; वास्तविक तर्क और पैटर्न पहचान के बीच अंतर करना।

जैसे-जैसे बड़े भाषा मॉडल की क्षमताएं बढ़ती जा रही हैं, उनकी क्षमताओं का आकलन करने के लिए उपयोग किए जाने वाले बेंचमार्क भी आमतौर पर बेहतर होते जाते हैं। हालांकि, बेंचमार्क के अंतर्निहित डेटासेट को ठीक से अलग और मान्य किए बिना, ऐसी क्षमता सुधारों को वास्तविक विश्लेषणात्मक गहराई से विकसित होने के बजाय प्रशिक्षण डेटा के संपर्क में आने के लिए जिम्मेदार ठहराया जा सकता है।

स्मार्ट कॉन्ट्रैक्ट्स की सुरक्षा का मूल्यांकन करते समय यह अंतर विशेष रूप से महत्वपूर्ण है, क्योंकि इस प्रकार के शोषण में अक्सर जटिल इंटरैक्शन, प्रासंगिक बाधाएं और आर्थिक किनारे के मामले शामिल होते हैं। एक विश्वसनीय बेंचमार्क होने के लिए, एक बेंचमार्क को चाहिए:

• व्यावहारिक शोषणशीलता के माध्यम से आवश्यकताओं को पूरा करने की व्यवहार्यता

• व्यवहार्यता के बारे में आर्थिक विचार

• ऑन-चेन लेनदेन से संबंधित निष्पादन बाधाएं

• भौतिक दुनिया में मौजूद हमला सतह

यदि बेंचमार्किंग में उपयोग किए गए गंभीरता स्तर या कमजोरियों के बारे में धारणाएं गलत हैं, तो वे बेंचमार्क डेवलपर्स को गुमराह कर सकते हैं। OpenZeppelin की टिप्पणियां बताती हैं कि क्रिप्टो सुरक्षा उद्योग की एआई-आधारित बेंचमार्क से वही अपेक्षाएं हैं जो प्रोटोकॉल ऑडिट प्रक्रिया के भीतर अपेक्षित हैं।

एआई और सुरक्षा विशेषज्ञों के बीच एक रचनात्मक तनाव

यह ध्यान दिया जाना चाहिए कि OpenZeppelin ने अपनी आलोचना प्रकाशित करने से पहले इस पहल के लिए अपना समर्थन व्यक्त किया था। यह बताता है कि तर्क बेंचमार्किंग के लिए एआई के उपयोग के खिलाफ नहीं है, बल्कि एआई के बेंचमार्किंग की प्रक्रिया को मजबूत करने के लिए है।

ब्लॉकचेन सुरक्षित ऑडिटिंग समुदाय और एआई अनुसंधान समुदाय के बीच का संबंध एक रचनात्मक तनाव है जो बनाएगा:

डेटासेट के लिए परिभाषाएं, मानदंड और मानक विकसित करने के लिए मिलकर काम करने से स्वचालित प्रणालियों में अत्यधिक विश्वास की संभावना कम होगी, साथ ही नवाचार को भी बढ़ावा मिलेगा, क्योंकि वेब3 विकास क्षेत्र में एआई-आधारित उपकरणों की लोकप्रियता लगातार बढ़ रही है।

जैसे-जैसे आर्टिफिशियल इंटेलिजेंस टूल वेब3 विकास समुदाय में अधिक से अधिक लोकप्रियता प्राप्त कर रहे हैं, उनके उपयोग को मान्य करने के लिए एक पारदर्शी प्रक्रिया स्थापित करना तेजी से महत्वपूर्ण हो गया है।

निष्कर्ष

OpenZeppelin से EVMbench के परिणाम इस बात पर प्रकाश डालते हैं कि ब्लॉकचेन क्षेत्र में सुरक्षा का आकलन करने के लिए उपयोग की जाने वाली आर्टिफिशियल इंटेलिजेंस की गुणवत्ता का आकलन करना कितना चुनौतीपूर्ण है। प्रशिक्षण डेटा के संभावित संदूषण की खोज, जो AI की कॉन्ट्रैक्ट्स में कमजोरियों की पहचान करने की क्षमता को प्रभावित कर सकता है, ने इस उद्योग में उपयोग किए जाने वाले बेंचमार्क की अखंडता के बारे में एक बहुत ही महत्वपूर्ण बातचीत शुरू कर दी है। यह उद्योग सैकड़ों अरबों डॉलर के मूल्य का प्रबंधन करता है जो ऑन-चेन पर रखा जाता है, इसलिए किसी भी प्रकार के विश्लेषण को करते समय ध्वनि विधियों का उपयोग करना महत्वपूर्ण है।

आर्टिफिशियल इंटेलिजेंस के स्मार्ट कॉन्ट्रैक्ट्स के ऑडिटिंग में एक विश्वसनीय योगदानकर्ता बनने के लिए, एआई का मूल्यांकन करने के लिए उपयोग किए जाने वाले किसी भी ढांचे को उसी प्रकार के प्रतिकूल मूल्यांकन के अधीन होने की आवश्यकता होगी जो अंतर्निहित प्रोटोकॉल के लिए है जिसे आर्टिफिशियल इंटेलिजेंस स्थापित करने में मदद करेगा। एआई और ब्लॉकचेन के अभिसरण से महत्वपूर्ण दक्षता प्राप्त होने की उम्मीद है, लेकिन जैसा कि इस केस स्टडी ने दिखाया है, इस परिणाम को प्राप्त करने के लिए नवाचार को सटीक मानकों के अधीन होने की आवश्यकता होगी।

संदर्भ

EVMbench समीक्षा पर OpenZeppelin X पोस्ट

OpenAI और Paradigm EVMbench लॉन्च की घोषणा

OpenZeppelin सुरक्षा ऑडिट कार्यप्रणाली दस्तावेज़

एथेरियम स्मार्ट कॉन्ट्रैक्ट सुरक्षा सर्वोत्तम अभ्यास दस्तावेज़

एआई बेंचमार्क डेटा संदूषण और मूल्यांकन पूर्वाग्रह पर अकादमिक शोध