محققان مایکروسافت یک آسیب‌پذیری اکنون وصله‌شده را در اکشن Claude Code گیت‌هابِ Anthropic فاش کردند که می‌توانست به مهاجمان اجازه دهد با دستکاری عامل هوش مصنوعی از طریق محتوای مخرب گیت‌هاب، اطلاعات کاربری ذخیره شده در خطوط لوله توسعه نرم‌افزار را افشا کنند.

در یک پست وبلاگی در روز جمعه، مایکروسافت هشدار داد که عوامل کدنویسی هوش مصنوعی که در گردش‌های کاری CI/CD اجرا می‌شوند، ممکن است خطرات امنیتی جدیدی ایجاد کنند، زیرا این محیط‌ها اغلب به کلیدهای API، اطلاعات کاربری ابری و سایر اطلاعات حساس دسترسی دارند.

مایکروسافت نوشت: «ما این تحقیق را پس از مشاهده تلاش‌های تزریق پرامپت در مخازن عمومی با استفاده از گردش‌های کاری گیت‌هاب مبتنی بر هوش مصنوعی در بین چندین فروشنده آغاز کردیم، جایی که محتوای مسائل یا [درخواست‌های ادغام] کنترل‌شده توسط مهاجم توسط عامل هوش مصنوعی پردازش می‌شد و می‌توانست بر استفاده از ابزار آن تأثیر بگذارد.»

در گیت‌هاب، درخواست ادغام (pull request) به توسعه‌دهندگان اجازه می‌دهد تغییراتی را در یک مخزن کد پیشنهاد دهند و آن تغییرات قبل از تأیید و ادغام شدن، مورد بررسی قرار گیرند.

این گزارش در حالی منتشر می‌شود که حملات تزریق پرامپت به یکی از بزرگترین تهدیدات امنیتی پیش روی عوامل هوش مصنوعی تبدیل شده است. در یک حمله تزریق پرامپت، مهاجم دستورالعمل‌هایی را در محتوایی مانند ایمیل‌ها، اسناد، وب‌سایت‌ها یا نظرات کد پنهان می‌کند و باعث می‌شود سیستم هوش مصنوعی به جای دستورالعمل‌های کاربر، از آن دستورالعمل‌ها پیروی کند.

Claude Code که در ماه اکتبر راه‌اندازی شد، عامل کدنویسی هوش مصنوعی Anthropic برای کارهای توسعه نرم‌افزار است. این ابزار در ماه مارس پس از آنکه Anthropic به طور تصادفی بیش از ۵۰۰,۰۰۰ خط کد منبع خود را افشا کرد، مورد توجه قرار گرفت و جزئیات معماری داخلی آن را آشکار ساخت و تجزیه و تحلیل گسترده‌ای را توسط محققان و توسعه‌دهندگان به دنبال داشت.

به گفته مایکروسافت، مهاجمان می‌توانستند از حملات تزریق پرامپت پنهان شده در مسائل گیت‌هاب، درخواست‌های ادغام یا نظرات برای دستکاری Claude Code به منظور دسترسی به فایل‌های حاوی اطلاعات کاربری حساس استفاده کنند.

برای آزمایش این آسیب‌پذیری، مایکروسافت یک گردش کار گیت‌هاب ایجاد کرد و دستورالعمل‌های مخرب را پشت محتوای میزبانی شده در دامنه‌ای که کنترل می‌کرد، پنهان ساخت و به محققان اجازه داد تا از محافظت‌های ایمنی Claude عبور کنند. حمله تزریق پرامپت Claude را فریب داد تا اطلاعات کاربری حساس را بخواند و آنها را تغییر دهد تا هم از محافظت‌های Claude و هم از ابزارهای اسکن راز گیت‌هاب فرار کند. مایکروسافت گفت که مهاجم می‌توانست سپس اطلاعات کاربری را بازسازی کرده و آن را از طریق نظرات مسائل، گزارش‌های گردش کار، درخواست‌های وب یا دستورات شل استخراج کند.

این شرکت گفت: «برای دور زدن مکانیزم‌های ایمنی امتناع سونِت، ما بار پوسته (shell payload) را پشت پاسخی از دامنه کنترل‌شده خود پنهان کردیم. ما همچنین گردش کار را فعال کردیم تا توسط کاربرانی که هیچ مجوز "نوشتن" نداشتند، فعال شود تا اطمینان حاصل شود که اقدامات حفاظتی حذف متغیرهای محیطی Anthropic در طول آزمایش‌های ما فعال بودند.»

Anthropic این نقص را در تاریخ ۵ مه با نسخه ۲.۱.۱۲۸ Claude Code وصله کرد، پس از آنکه مایکروسافت این آسیب‌پذیری را در ۲۹ آوریل از طریق HackerOne فاش ساخت.

با وجود چندین لایه کنترل امنیتی داخلی، مایکروسافت دریافت که یک مهاجم مصمم می‌تواند به طور بالقوه یک عامل هوش مصنوعی را به افشای اطلاعات حساس سوق دهد.

این شرکت گفت: «ما در حال ورود به دوره‌ای هستیم که زبان طبیعی کد اجرایی است و ورودی‌های نامعتبر مانند مسائل گیت‌هاب باید به طور پیش‌فرض خصمانه تلقی شوند.» «فقط یک نظر با دقت طراحی شده همراه با یک مرز اعتماد سوءتفاهم شده کافی است تا اطلاعات کاربری تولیدی به سرقت رود.»