Es zeichnet sich eine Kontroverse über den Einsatz von KI und Blockchain-Sicherheit ab. OpenZeppelin hat die neuen KI-Benchmarks von OpenAI für Smart Contracts (EVMbench) untersucht und dabei methodische Probleme sowie eine Kontamination der getesteten Daten festgestellt. Der Benchmark, der dazu dient, zu beurteilen, wie gut KI-Modelle Schwachstellen in Smart Contracts der Ethereum Virtual Machine identifizieren, beheben und ausnutzen können, ist das Ergebnis einer Zusammenarbeit zwischen dem Krypto-Investmentunternehmen Paradigm und Forschern der Stanford University. OpenZeppelin äußerte Unterstützung für den Vorschlag, wandte jedoch dieselbe Sorgfalt an, die auch bei der Bewertung anderer großer DeFi-Protokolle zum Einsatz kommt, als sie denselben Ansatz für diesen Benchmark-Vorschlag nutzten. Dies führte zu einer Untersuchung des Benchmarks, die zahlreiche wichtige Fragen aufwarf, wie wir die KI-Leistung im Zusammenhang mit der Blockchain-Sicherheit in Zukunft messen werden.<h2>Was EVMbench leisten soll</h2>EVMbench dient als Benchmark zum Testen von KI-Modellen gegen tatsächliche Schwachstellen in Smart Contracts unter Solidity-Code und EVM, wodurch Sie Folgendes tun können: <ol><li data-list="ordered">Sicherheitslücken in Solidity-Code identifizieren,</li><li data-list="ordered">Die Schwere dieser Sicherheitslücken klassifizieren,</li><li data-list="ordered">Patches für geschwächte Sicherheit empfehlen und</li><li data-list="ordered">Demonstrieren, wie ein Angreifer eine Schwachstelle ausnutzen würde.</li></ol> Das Ziel des Benchmarks ist es, Entwicklern eine objektive Messung zu bieten, wie effektiv ihr Code eine Blockchain-basierte Lösung sichern wird, wenn die finanziellen Einsätze hoch sind und die Ausnutzung der Blockchain zu unermesslichen Verlusten führen kann. Mit dem wachsenden Einsatz von KI in Audit-Prozessen könnten diese Benchmarks die Auswahl von KI-Tools für Audit-/Protokollsicherheit durch Entwicklungsteams beeinflussen. Allerdings erfordert der Vergleich von KI in Hochrisiko-/Verlustumgebungen ein hohes Maß an methodischer Disziplin beim Benchmarking von KI; <img src="https://jid.rerrkvifj.com/media/customer/creatorSystem/6c2d08d1-ecb7-474f-bd3f-b2d9330b6539.jpeg">Bild des Autors<h2>OpenZeppelins Überprüfungsprozess</h2>Laut einem Vertreter von OpenZeppelin hat das Unternehmen beschlossen, EVMbench nach denselben allgemeinen Verfahren zu überprüfen, die auch für die Prüfung großer dezentraler Finanzprotokolle angewendet werden. OpenZeppelin hat Audits für viele Projekte durchgeführt, darunter Aave, Lido und Uniswap, die alle Transaktionen im Wert von Milliarden von Dollar verarbeiten. OpenZeppelin erklärte, dass es nicht seine Absicht sei, diese Initiative anzufechten; vielmehr ging es darum, sicherzustellen, dass auf KI basierende Sicherheitsansprüche durch eine willkürliche und strenge statistische Methodik gestützt werden. Das Unternehmen erklärte öffentlich und in Gesprächen mit der Öffentlichkeit, dass Künstliche-Intelligenz-Benchmarks, die Entscheidungen über die Sicherheit von Blockchain-Projekten beeinflussen werden, einem adversariellen Test unterzogen werden müssen.<h2>Hauptproblem 1: Kontamination der Trainingsdaten</h2>Die Ergebnisse meiner Forschung zeigen, dass die Kontamination von Trainingsdaten ein erhebliches Risiko darstellt.&nbsp;Kontamination tritt auf, wenn der Benchmark-Datensatz, der zur Bewertung der Leistung von Machine-Learning-Algorithmen (ML) verwendet wird, sich teilweise oder vollständig mit den Daten überschneidet, die zum Trainieren der Algorithmen verwendet wurden. Diese Überschneidung führt zu aufgeblähten Leistungsmetriken.&nbsp; Im Kontext von EVMbench besteht Besorgnis über Kontamination.&nbsp;Wenn Schwachstellen in den Benchmarking-Datensätzen in weit verbreiteten öffentlichen Repositories (z.B. GitHub) oder in anderen veröffentlichten Studien vorhanden waren, besteht die Möglichkeit, dass hoch entwickelte ML-Algorithmen diese Muster auswendig gelernt haben (d.h. die Assoziation zwischen Trainingsdaten und entsprechenden Leistungen gelernt haben).&nbsp; Dies untergräbt die Glaubwürdigkeit der EVMbench-Benchmarks als gültiges Maß für die Fähigkeit eines Algorithmus zu folgern.&nbsp;Folgerung ist in der Welt der Blockchain-Sicherheit von entscheidender Bedeutung, wo es ein Umfeld adversarieller Kreativität gibt, in dem das Vertrauen in die Interpretation von auswendig gelernten Daten (d.h. Abruf) viel schwieriger ist als das Demonstrieren konsistenter Anwendungen analytischer Folgerung (d.h. Logik).<h2>Hauptproblem 2: Fehler bei der Schwachstellenklassifizierung</h2>OpenZeppelin hat in seiner zweiten Hauptsorge bezüglich der Schwachstellenklassifizierung angegeben, dass es zahlreiche Probleme zu geben scheint, die als sehr hohe Schwere klassifiziert sind, aber in der Praxis nicht ausgenutzt werden können. Sie teilten uns mit, dass mindestens vier dieser Klassifizierungen mit hoher Schwere tatsächlich ungültig sind, da diese Schwachstellen unter realen Blockchain-Bedingungen tatsächlich nicht ausgenutzt werden können. Die Bedeutung des Schweregrad-Klassifizierungssystems liegt darin, dass: • Schweregradklassifizierungen helfen, Ressourcen zuerst auf die Behebung der wichtigsten Probleme zu konzentrieren.• Schweregradklassifizierungen beeinflussen Modellbewertungen.• Die öffentliche Wahrnehmung der KI-Fähigkeit wird durch Schweregradklassifizierungen geprägt. Wenn ein Modell ein nicht ausnutzbares Problem korrekt depriorisiert, dieses Problem aber eine hohe Schwere zugewiesen bekommen hat, kann dieses Modell dafür ungerechtfertigt bestraft werden. Andererseits könnte ein Modell einfach viel mehr Probleme melden, ohne bestimmen zu können, ob sie ausnutzbar sind oder nicht, und dabei eine höhere Punktzahl erhalten. Diese Diskrepanzen untergraben auch die Zuverlässigkeit der Benchmarks.<img src="https://jid.rerrkvifj.com/media/customer/creatorSystem/43f11cfa-2df8-4e83-a64d-06d4f90296e1.jpeg">Bild des Autors<h2>Warum Benchmark-Integrität für Blockchain-Sicherheit wichtig ist</h2>Ein kritischer Faktor, der die Akzeptanz von Künstlicher Intelligenz prägt. Ein Benchmark, der ein Maß an Vertrauen bietet, dass ein bestimmtes KI-Modell Schwachstellen effektiv identifizieren und ausnutzen kann, ist etwas, das Entwicklungsteams dazu bewegen kann, es in ihre Produktions-Audit-Pipelines zu integrieren. Der Einsatz fehlerhafter Audit-Tools im dezentralen Finanzwesen (DeFi) kann schwerwiegende Folgen haben, darunter: - Verlust von Benutzergeldern- Protokollinsolvenz- Störung der Governance- Rufschädigung Blockchain Smart Contracts werden typischerweise einmal eingesetzt und sind unveränderlich. Sicherheitslücken können ohne Governance-Koordination oder Migration nicht einfach behoben werden. Dies erhöht die Notwendigkeit präziser Schwachstellenklassifikationen und solider Bewertungsmetriken. Ein unzuverlässiger Benchmark kann ein Umfeld fehlgeleiteten Vertrauens in KI-gesteuerte Sicherheitsprodukte schaffen.<h2>Die wachsende Rolle von KI bei der Prüfung von Smart Contracts</h2>Smart Contracts werden heute häufig mit Künstlicher Intelligenz (KI) überprüft. Der Einsatz von KI in dieser Hinsicht lässt sich wie folgt zusammenfassen: - Zum Voraussuchen von Programmiercode und Auffinden identifizierter neuer Schwachstellen,- Unterstützung menschlicher Prüfer bei der Analyse des Codes auf funktionale oder logische Fehler,- Bereitstellung von Empfehlungen für Code-Patches, falls Fehler gefunden werden, und- Erstellung von Testfällen, die die Ausnutzung der Schwachstelle simulieren. Der effektive Einsatz von Künstlicher Intelligenz wird die Arbeit menschlicher Prüfer ergänzen, aber nicht ersetzen. Wir sehen zunehmend den Einsatz von Künstlicher Intelligenz auf diese Weise. EVMbench ist ein Versuch zu evaluieren, wie gut KI in diesem Unterbereich anhand etablierter Metriken abschneidet. OpenZeppelin kritisiert diese Bewertungsmethode und weist auf die Notwendigkeit eines sicheren und nutzbar gestalteten Bewertungsprozesses für Benchmarking-Zwecke hin. Schließlich müssen Bewertungsverfahren, um gegenüber Angreifern, die aktiv nach Schwachstellen suchen werden, wirksam zu sein, so konzipiert sein, dass sie nicht 'ausgetrickst' werden können.<h2>Breitere Implikationen für die KI-Bewertung im Krypto-Bereich</h2>Die Kontroverse um EVMbench verdeutlicht eine anhaltende Herausforderung bei der Bewertung von KI: die Unterscheidung zwischen echtem Denken und Mustererkennung. Mit der zunehmenden Erweiterung der Fähigkeiten großer Sprachmodelle verbessern sich in der Regel auch die Benchmarks, die zur Bewertung ihrer Fähigkeiten verwendet werden. Ohne jedoch den zugrunde liegenden Datensatz eines Benchmarks ordnungsgemäß zu isolieren und zu validieren, könnten solche Fähigkeitsverbesserungen eher auf die Exposition gegenüber Trainingsdaten als auf eine wirklich analytische Tiefe zurückgeführt werden. Diese Unterscheidung ist besonders wichtig bei der Bewertung der Sicherheit von Smart Contracts, da solche Exploits häufig komplexe Interaktionen, kontextbezogene Einschränkungen und ökonomische Randfälle beinhalten. Um ein zuverlässiger Benchmark zu sein, muss ein Benchmark Folgendes berücksichtigen: • Machbarkeit der Erfüllung von Anforderungen durch praktische Ausnutzbarkeit• Wirtschaftliche Überlegungen zur Machbarkeit• Ausführungsbeschränkungen im Zusammenhang mit On-Chain-Transaktionen• Angriffsflächen, die in der physischen Welt existieren Sollten entweder die Schweregrade oder Annahmen über Schwachstellen, die im Benchmarking verwendet werden, falsch sein, könnten diese Benchmarks Entwickler in die Irre führen. Die Kommentare von OpenZeppelin zeigen, dass die Krypto-Sicherheitsbranche dieselben Erwartungen an KI-basierte Benchmarks hat wie an den Protokoll-Audit-Prozess.<h2>Eine konstruktive Spannung zwischen KI- und Sicherheitsexperten</h2>Es ist anzumerken, dass OpenZeppelin ihre Unterstützung für die Initiative bereits vor der Veröffentlichung ihrer Kritik zum Ausdruck brachte. Dies deutet darauf hin, dass es bei der Argumentation nicht gegen den Einsatz von KI zum Benchmarking geht, sondern vielmehr darum, den Prozess des Benchmarking von KI zu stärken. Die Wechselbeziehung zwischen der Blockchain-Sicherheits-Audit-Community und der KI-Forschungsgemeinschaft ist eine konstruktive Spannung, die Folgendes schaffen wird: Die Zusammenarbeit bei der Entwicklung von Definitionen, Kriterien und Standards für Datensätze wird dazu beitragen, die Wahrscheinlichkeit eines übermäßigen Vertrauens in automatisierte Systeme zu verringern und gleichzeitig Innovationen zu fördern, da KI-basierte Tools im Web3-Entwicklungsbereich immer beliebter werden. Da Künstliche-Intelligenz-Tools in der Web3-Entwicklungsgemeinschaft immer mehr an Bedeutung gewinnen, ist es zunehmend wichtig geworden, einen transparenten Prozess zur Validierung ihrer Verwendung zu etablieren.<h2>Fazit</h2>Die Ergebnisse von OpenZeppelin zum EVMbench verdeutlichen, wie herausfordernd es ist, die Qualität von Künstlicher Intelligenz zur Bewertung der Sicherheit im Blockchain-Bereich zu beurteilen. Die Entdeckung einer potenziellen Kontamination von Trainingsdaten, die die Fähigkeit von KI, Schwachstellen in Smart Contracts zu identifizieren, beeinträchtigen könnte, hat eine sehr wichtige Debatte über die Integrität von Benchmarks in dieser Branche ausgelöst. Diese Branche verwaltet Hunderte von Milliarden Dollar an Werten, die auf der Blockchain liegen, daher ist der Einsatz fundierter Methoden bei jeder Art von Analyse von entscheidender Bedeutung. Damit Künstliche Intelligenz ein zuverlässiger Beitrag zur Prüfung von Smart Contracts werden kann, muss jedes Framework zur Bewertung von KI auch der Art von adversarieller Bewertung unterzogen werden, die die zugrunde liegenden Protokolle, die Künstliche Intelligenz unterstützen soll, etabliert. Die Konvergenz von KI und Blockchain wird voraussichtlich erhebliche Effizienzsteigerungen bringen, aber wie diese Fallstudie gezeigt hat, muss Innovation strengen Standards unterliegen, damit dieses Ergebnis erzielt werden kann.<h2>Referenzen</h2><a href="https://x.com/OpenZeppelin/status/2028486093201359312" rel="noopener noreferrer" target="_blank">OpenZeppelin X Post zum EVMbench Review </a><a href="https://openai.com/index/introducing-evmbench" rel="noopener noreferrer" target="_blank">OpenAI und Paradigm EVMbench Launch Announcement </a><a href="https://www.openzeppelin.com/security-audits" rel="noopener noreferrer" target="_blank">OpenZeppelin Security Audit Methodology Documentation</a><a href="https://consensys.github.io/smart-contract-best-practices" rel="noopener noreferrer" target="_blank">Ethereum Smart Contract Security Best Practices Documentation</a><a href="https://arxiv.org/html/2411.12990v1" rel="noopener noreferrer" target="_blank">Academic Research on AI Benchmark Data Contamination and Evaluation Bias</a>

OpenZeppelin entdeckt Datenkontamination und ungültige, hochkritische Schwachstellen in OpenAIs EVMbench und stellt die Zuverlässigkeit von KI-Benchmarks für die Blockchain-Sicherheit infrage.

OpenZeppelin weist auf methodische Mängel im OpenAI EVMbench Blockchain-Sicherheitsbenchmark hin

/media/contribution/carf291d1f925874cf499c90ae3687ec21a/8ai_0424033348171.stxt

Warum der Handel mit Krypto über öffentliches WLAN ein risikoreiches Glücksspiel ist

/media/contribution/car567c6a9c4a7544f78618a253f3d748aa/j4k_0424032911446.stxt

Tether unterstützt 150-Millionen-Dollar-Wiederherstellungsplan nach Drift Protocol Exploit

/media/contribution/car05212d7933f74fb3b29e23e8e6af8415/zad_0424031236502.stxt

Der Quanten-Upgrade-Pfad von Bitcoin: Was BIP 360 verändert und was nicht

/media/contribution/car559f376eb08141b5ac764b8622982932/8g0_0424031523804.stxt

Australiens 24 Mrd. $ Digital-Asset-Chance hängt von regulatorischer Klarheit ab

/media/contribution/car0c667b2cb61749d8bbe060c7dd4ee431/slp_0424030319594.stxt

Südkorea baut ein Krypto-Überwachungssystem auf – Steuerhinterzieher sollten aufmerksam sein

/media/contribution/cardcd83a0d8e5f4d159a721b75dbff24d1/9zh_0424032210876.stxt