Дослідники Microsoft розкрили виправлену вразливість у Anthropic Claude Code GitHub Action, яка могла дозволити зловмисникам розкривати облікові дані, що зберігаються в конвеєрах розробки програмного забезпечення, шляхом маніпулювання ШІ-агентом через шкідливий контент GitHub.
У дописі в блозі в п'ятницю Microsoft попередила, що ШІ-агенти для кодування, які працюють у робочих процесах CI/CD, можуть створювати нові ризики безпеки, оскільки ці середовища часто мають доступ до ключів API, хмарних облікових даних та іншої конфіденційної інформації.
«Ми розпочали це дослідження після спостереження спроб ін'єкції промптів у публічних репозиторіях, що використовують робочі процеси GitHub з підтримкою ШІ від різних постачальників, де вміст, керований зловмисником (issue або pull requests), обробляється ШІ-агентом і може впливати на використання ним інструментів», — написала Microsoft.
На GitHub запит на злиття (pull request) дозволяє розробникам пропонувати зміни до репозиторію коду та переглядати ці зміни, перш ніж їх буде схвалено та об'єднано.
Звіт з'являється в той час, коли атаки через ін'єкцію промптів стали однією з найбільших загроз безпеці для ШІ-агентів. В атаці через ін'єкцію промптів зловмисник приховує інструкції в контенті, такому як електронні листи, документи, веб-сайти або коментарі до коду, змушуючи систему ШІ виконувати ці інструкції замість інструкцій користувача.
Запущений у жовтні, Claude Code є ШІ-агентом для кодування від Anthropic для завдань розробки програмного забезпечення. Інструмент привернув увагу в березні після того, як Anthropic випадково витік понад 500 000 рядків свого вихідного коду, розкривши деталі його внутрішньої архітектури та спонукавши до широкого аналізу дослідниками та розробниками.
За даними Microsoft, зловмисники могли використовувати атаки через ін'єкцію промптів, приховані в проблемах GitHub, запитах на злиття або коментарях, щоб маніпулювати Claude Code для доступу до файлів, що містять конфіденційні облікові дані.
Щоб перевірити вразливість, Microsoft створила робочий процес GitHub і замаскувала шкідливі інструкції за контентом, розміщеним на контрольованому нею домені, що дозволило дослідникам обійти захисні механізми Claude. Атака через ін'єкцію промптів обманула Claude, змусивши його прочитати конфіденційні облікові дані та змінити їх, щоб уникнути як захисних механізмів Claude, так і інструментів сканування секретів GitHub. Microsoft заявила, що зловмисник міг би потім відновити облікові дані та ексфільтрувати їх через коментарі до проблем, журнали робочих процесів, веб-запити або команди оболонки.
«Щоб обійти механізми відмови безпеки Sonnet, ми приховали корисне навантаження оболонки за відповіддю з нашого контрольованого домену, — повідомила фірма. — Ми також дозволили запускати робочий процес користувачам без прав 'write', щоб переконатися, що засоби захисту від очищення змінних середовища Anthropic були активними під час наших тестів».
Anthropic виправила помилку 5 травня у версії Claude Code 2.1.128 після того, як Microsoft розкрила вразливість через HackerOne 29 квітня.
Незважаючи на численні рівні вбудованих засобів контролю безпеки, Microsoft виявила, що рішучий зловмисник потенційно міг маніпулювати ШІ-агентом для розкриття конфіденційної інформації.
«Ми вступаємо в епоху, коли природна мова є виконуваним кодом, а ненадійні вхідні дані, такі як проблеми GitHub, повинні за замовчуванням розглядатися як ворожі, — йдеться у повідомленні. — Один ретельно створений коментар у поєднанні з неправильно зрозумілою межею довіри — це все, що потрібно, щоб заволодіти виробничими обліковими даними».
