Pojawia się kontrowersja dotycząca wykorzystania sztucznej inteligencji (AI) i bezpieczeństwa blockchain. OpenZeppelin zbadał nowe benchmarki AI wydane przez OpenAI dotyczące smart kontraktów (EVMbench) i znalazł pewne problemy zarówno z metodologią, jak i z zanieczyszczeniem testowanych danych. Zaprojektowany, aby ocenić, jak dobrze modele AI potrafią identyfikować, usuwać i wykorzystywać luki w inteligentnych kontraktach Ethereum Virtual Machine, benchmark jest wynikiem współpracy firmy inwestycyjnej Paradigm i badaczy z Uniwersytetu Stanforda. OpenZeppelin wyraził poparcie dla propozycji, ale zastosował tę samą skrupulatność, której używa się do oceny innych głównych protokołów DeFi, oceniając tę propozycję benchmarku. Doprowadziło to do analizy benchmarku, która podniosła liczne ważne pytania dotyczące tego, jak będziemy mierzyć wydajność sztucznej inteligencji w kontekście bezpieczeństwa blockchain w przyszłości.<h2>Do Czego Został Zaprojektowany EVMbench</h2>EVMbench służy jako punkt odniesienia do testowania modeli AI pod kątem rzeczywistych luk w inteligentnych kontraktach w kodzie Solidity i EVM, umożliwiając: <ol><li data-list="ordered">Identyfikację luk bezpieczeństwa w kodzie Solidity,</li><li data-list="ordered">Klasyfikację stopnia poważności tych luk bezpieczeństwa,</li><li data-list="ordered">Rekomendowanie poprawek dla osłabionego bezpieczeństwa,</li><li data-list="ordered">Demonstrację, jak atakujący mógłby wykorzystać słabość.</li></ol> Celem benchmarku jest dostarczenie programistom obiektywnej miary skuteczności, z jaką ich kod zabezpieczy rozwiązanie oparte na blockchainie, gdy stawki finansowe są wysokie, a wykorzystanie blockchaina może skutkować niewymiernymi stratami. Wraz z rosnącym wykorzystaniem AI w procesach audytowych, te benchmarki mogą wpływać na wybór narzędzi AI przez zespoły programistyczne do audytu/bezpieczeństwa protokołów. Jednak porównywanie AI w środowiskach wysokiego ryzyka/bez gwarancji sukcesu wymaga wysokiego stopnia dyscypliny metodologicznej w benchmarkingu AI; <img src="https://jid.rerrkvifj.com/media/customer/creatorSystem/6c2d08d1-ecb7-474f-bd3f-b2d9330b6539.jpeg">Obraz autorstwa<h2>Proces Oceny OpenZeppelin</h2>Według przedstawiciela OpenZeppelin, firma zdecydowała się ocenić EVMbench, stosując te same ogólne procedury, które wykorzystuje się do audytowania dużych zdecentralizowanych protokołów finansowych. OpenZeppelin przeprowadził audyty wielu projektów, w tym Aave, Lido i Uniswap, które wszystkie przetwarzają transakcje o wartości miliardów dolarów. OpenZeppelin oświadczył, że jego celem nie było kwestionowanie tej inicjatywy; raczej chodziło o zapewnienie, że roszczenia dotyczące bezpieczeństwa oparte na AI są poparte arbitralną i rygorystyczną metodologią statystyczną. Firma publicznie i w dyskusjach z opinią publiczną stwierdziła, że benchmarki sztucznej inteligencji, które będą wpływać na decyzje dotyczące bezpieczeństwa projektów blockchain, muszą przejść testy adversarialne.<h2>Kluczowy Problem 1: Zanieczyszczenie Danych Treningowych</h2>Wyniki moich badań pokazują, że zanieczyszczenie danych treningowych stanowi znaczne ryzyko.&nbsp;Zanieczyszczenie występuje, gdy zbiór danych benchmarkowych używany do oceny wydajności algorytmów uczenia maszynowego (ML) częściowo lub całkowicie pokrywa się z danymi używanymi do trenowania algorytmów. To pokrywanie się prowadzi do zawyżonych metryk wydajności.&nbsp; W kontekście EVMbench, istnieje obawa o zanieczyszczenie.&nbsp;Jeśli jakiekolwiek luki zawarte w zbiorach danych benchmarkowych były obecne w szeroko dostępnych publicznych repozytoriach (np. GitHub) lub w innych opublikowanych badaniach, istnieje szansa, że bardzo zaawansowane algorytmy ML zapamiętały te wzorce (tj. nauczyły się zapamiętywać związek między danymi treningowymi a odpowiadającymi im wynikami).&nbsp; Podważa to wiarygodność benchmarków EVMbench jako ważnej miary zdolności algorytmu do rozumowania.&nbsp;Rozumowanie jest kluczowe w świecie bezpieczeństwa blockchain, gdzie istnieje środowisko adversarialnej kreatywności, a poleganie na interpretacji zapamiętanych danych (tj. odtwarzaniu) jest znacznie trudniejsze niż demonstrowanie spójnych zastosowań analitycznego rozumowania (tj. logiki).<h2>Kluczowy Problem 2: Błędy w Klasyfikacji Luk</h2>OpenZeppelin, w swojej drugiej głównej obawie dotyczącej klasyfikacji luk, stwierdził, że wydaje się, iż istnieje wiele problemów sklasyfikowanych jako bardzo wysoki stopień powagi, których nie można wykorzystać w praktyczny sposób. Wskazali nam, że co najmniej cztery z tych klasyfikacji o wysokim stopniu powagi są w rzeczywistości nieważne, ponieważ w rzeczywistych warunkach blockchaina te luki nie mogą być faktycznie wykorzystane. Znaczenie systemu klasyfikacji powagi polega na tym, że: • Klasyfikacje powagi pomagają skoncentrować zasoby na naprawie najpierw najważniejszych problemów• Klasyfikacje powagi wpływają na wyniki modeli• Percepcja publiczna możliwości AI będzie kształtowana przez klasyfikacje powagi Jeśli model prawidłowo obniża priorytet problemu niewykrywalnego, ale ten problem został przypisany jako wysoki poziom powagi, wtedy model może zostać niesprawiedliwie ukarany za to. Z drugiej strony, model może po prostu oznaczyć znacznie więcej problemów, nie będąc w stanie określić, czy są one wykrywalne, czy nie, i może otrzymać wyższy wynik. Te rozbieżności również podważają wiarygodność benchmarków.<img src="https://jid.rerrkvifj.com/media/customer/creatorSystem/43f11cfa-2df8-4e83-a64d-06d4f90296e1.jpeg">Obraz autorstwa<h2>Dlaczego Integralność Benchmarków Ma Znaczenie dla Bezpieczeństwa Blockchain</h2>Krytyczny Czynnik Kształtujący Przyjęcie Sztucznej Inteligencji Benchmark, który zapewnia miarę pewności, że dany model AI będzie w stanie skutecznie identyfikować i wykorzystywać luki, jest czymś, co może skłonić zespoły programistyczne do włączenia go do swoich produkcyjnych procesów audytu. Stosowanie wadliwych narzędzi audytowych w ramach zdecentralizowanych finansów (DeFi) może prowadzić do poważnych konsekwencji, w tym: - Utrata środków użytkowników- Niewypłacalność protokołu- Zakłócenie zarządzania- Utrata reputacji Inteligentne kontrakty blockchain są zazwyczaj wdrażane i niezmienne. Luki bezpieczeństwa nie mogą być łatwo naprawione bez koordynacji zarządzania lub migracji. To zwiększa potrzebę dokładnych klasyfikacji luk i solidnych metryk oceny. Niewiarygodny benchmark może stworzyć środowisko błędnego zaufania do produktów bezpieczeństwa opartych na AI.<h2>Rosnąca Rola AI w Audycie Smart Kontraktów</h2>Inteligentne kontrakty są obecnie powszechnie przeglądane za pomocą sztucznej inteligencji (AI). Wykorzystanie AI w tym zakresie można podsumować następująco: - Wstępne skanowanie kodu programistycznego i lokalizowanie zidentyfikowanych nowych luk,- Wspieranie ludzkich audytorów w analizie kodu pod kątem błędów funkcjonalnych lub logicznych,- Dostarczanie rekomendacji dotyczących poprawek kodu, jeśli błędy zostaną zlokalizowane, oraz- Tworzenie przypadków testowych symulujących wykorzystanie luki. Skuteczne wykorzystanie sztucznej inteligencji będzie uzupełniać, ale nie zastępować, pracę ludzkich audytorów. Coraz częściej obserwujemy takie wykorzystanie sztucznej inteligencji. EVMbench to próba oceny, jak dobrze AI radzi sobie z ustalonymi metrykami w tej poddziedzinie. OpenZeppelin przedstawia krytykę tej metody oceny, zwracając uwagę na potrzebę bezpiecznego i użytecznie zaprojektowanego procesu oceny dla celów benchmarkingu. Wreszcie, aby być skutecznym w stosunku do przeciwników, którzy aktywnie będą szukać słabości, procesy oceny muszą być zaprojektowane w taki sposób, aby nie dało się ich "oszukać".<h2>Szersze Implikacje dla Oceny AI w Kryptowalutach</h2>Kontrowersje wokół EVMbench podkreślają trwające wyzwanie w ocenie AI; rozróżnianie między prawdziwym rozumowaniem a rozpoznawaniem wzorców. W miarę jak możliwości dużych modeli językowych nadal się rozwijają, benchmarki używane do oceny ich możliwości zazwyczaj również się poprawiają. Jednak bez odpowiedniego izolowania i walidacji bazowego zbioru danych benchmarku, takie ulepszenia możliwości mogą być przypisywane ekspozycji na dane treningowe, a nie rozwojowi prawdziwej głębi analitycznej. To rozróżnienie jest szczególnie ważne przy ocenie bezpieczeństwa smart kontraktów, ponieważ tego rodzaju exploity często obejmują złożone interakcje, ograniczenia kontekstowe i ekonomiczne przypadki brzegowe. Aby być wiarygodnym benchmarkiem, benchmark musi uwzględniać: • Wykonalność spełnienia wymagań poprzez praktyczną możliwość eksploatacji• Aspekty ekonomiczne dotyczące wykonalności• Ograniczenia wykonawcze związane z transakcjami on-chain• Powierzchnie ataku istniejące w świecie fizycznym Jeśli poziomy powagi lub założenia dotyczące luk wykorzystywanych w benchmarkingu są nieprawidłowe, te benchmarki mogą wprowadzić programistów w błąd. Komentarze OpenZeppelin wskazują, że branża bezpieczeństwa kryptowalut ma takie same oczekiwania wobec benchmarków opartych na AI, jak w procesie audytu protokołów.<h2>Konstruktywne Napięcie Między AI a Ekspertami ds. Bezpieczeństwa</h2>Należy zauważyć, że OpenZeppelin wyraził swoje poparcie dla inicjatywy przed opublikowaniem krytyki. Sugeruje to, że argument nie jest skierowany przeciwko wykorzystaniu AI do benchmarkingu, ale raczej ma na celu wzmocnienie procesu benchmarkingu AI. Wzajemne powiązania między społecznością audytorów bezpieczeństwa blockchain a społecznością badaczy AI to konstruktywne napięcie, które stworzy: Wspólna praca nad opracowaniem definicji, kryteriów i standardów dla zbiorów danych pomoże zmniejszyć ryzyko nadmiernej ufności w systemy zautomatyzowane, jednocześnie zachęcając do innowacji, ponieważ narzędzia oparte na sztucznej inteligencji stają się coraz bardziej popularne w przestrzeni rozwoju Web3. W miarę jak narzędzia sztucznej inteligencji zyskują coraz większą popularność w społeczności deweloperów Web3, coraz ważniejsze staje się ustanowienie przejrzystego procesu walidacji ich użycia.<h2>Wnioski</h2>Wyniki OpenZeppelin dotyczące EVMbench podkreślają, jak trudne jest ocenienie jakości sztucznej inteligencji używanej do oceny bezpieczeństwa w przestrzeni blockchain. Odkrycie potencjalnego zanieczyszczenia danych treningowych, które może wpływać na to, jak dobrze AI potrafi identyfikować luki w kontraktach, wywołało bardzo ważną dyskusję na temat integralności benchmarków stosowanych w tej branży. Branża ta zarządza wartością setek miliardów dolarów, która jest przechowywana on-chain, dlatego stosowanie solidnych metod przy przeprowadzaniu wszelkiego rodzaju analiz jest kluczowe. Aby sztuczna inteligencja stała się wiarygodnym narzędziem do audytowania smart kontraktów, wszelkie ramy używane do jej oceny będą musiały również podlegać rodzajowi oceny adversarialnej, jaką ustanawiają bazowe protokoły, którym AI będzie pomagać. Zbieżność AI i blockchaina ma przynieść znaczące efektywności, ale jak pokazało to studium przypadku, innowacje będą musiały podlegać rygorystycznym standardom, aby ten wynik został osiągnięty.<h2>Referencje</h2><a href="https://x.com/OpenZeppelin/status/2028486093201359312" rel="noopener noreferrer" target="_blank">Post OpenZeppelin na X dotyczący przeglądu EVMbench </a><a href="https://openai.com/index/introducing-evmbench" rel="noopener noreferrer" target="_blank">Ogłoszenie OpenAI i Paradigm o uruchomieniu EVMbench </a><a href="https://www.openzeppelin.com/security-audits" rel="noopener noreferrer" target="_blank">Dokumentacja metodologii audytu bezpieczeństwa OpenZeppelin</a><a href="https://consensys.github.io/smart-contract-best-practices" rel="noopener noreferrer" target="_blank">Dokumentacja najlepszych praktyk bezpieczeństwa smart kontraktów Ethereum</a><a href="https://arxiv.org/html/2411.12990v1" rel="noopener noreferrer" target="_blank">Badania naukowe dotyczące zanieczyszczenia danych benchmarkowych AI i błędu oceny</a>

OpenZeppelin wykrywa skażenie danych oraz nieprawidłowe luki o wysokiej wadze w EVMbench firmy OpenAI, kwestionując wiarygodność standardów AI dla bezpieczeństwa blockchain.

OpenZeppelin Wskazuje Na Metodologiczne Błędy w Benchmarku Bezpieczeństwa Blockchain EVMbench firmy OpenAI

/media/contribution/cardcd83a0d8e5f4d159a721b75dbff24d1/rlc_0424032210954.stxt

Bitcoin pokazuje siłę, gdy wskaźniki techniczne sygnalizują rzadkie ustawienie kupna

/media/contribution/car308527359fe44c609eb7194e37d50bb7/2fo_0424030653628.stxt

Adopcja Bitcoina rośnie, ale ruch cenowy opowiada inną historię

/media/contribution/car0fb4ad9457fd431c9933866ba54adef6/crq_0424030908343.stxt

Ukryta kruchość DeFi ujawniona podczas likwidacji o wartości 27 mln USD na rynkach Aave

/media/contribution/car567c6a9c4a7544f78618a253f3d748aa/6go_0424032911157.stxt

Tether wspiera plan odbudowy o wartości 150 mln USD po ataku na protokół Drift

/media/contribution/car559f376eb08141b5ac764b8622982932/8qj_0424031523850.stxt

24-miliardowa okazja Australii na rynku aktywów cyfrowych zależy od jasności regulacyjnej

/media/contribution/car05212d7933f74fb3b29e23e8e6af8415/n8b_0424031236373.stxt