Злам Cursor AI: чому ШІ не бачить злих намірів і як діє Zero Trust

Агент спочатку відхиляв деякі запити. Тоді хакери перезапускали сесію, знову стверджували, що цільове середовище є тестовим, і продовжували спроби. В одному з випадків власне міркування агента дозволило йому прийняти твердження про те, що ця діяльність є законною. 
Це висвітлює фундаментальний недолік: ШІ не здатний надійно визначати наміри людини.

Денні Дженкінс, генеральний директор та співзасновник ThreatLocker, попереджав про цю проблему роками, і компанія неодноразово це демонструвала. Більшість кібератак на рівні окремих комп’ютерних інструкцій не виглядають шкідливими. Небезпечними їх роблять саме мета та контекст, у якому вони використовуються. 
● Виведення даних програмно може не відрізняється від хмарного резервного копіювання. ● Інструмент віддаленого адміністрування може допомагати IT-техніку, а може надати зловмисникам контроль над машиною жертви. ● PowerShell може автоматизувати бізнес-процес або викрасти облікові дані. ● Сканер вразливостей може допомогти фахівцю із захисту знайти слабкі місця або допомогти злочинцю обрати шлях до мережі. ● Відмінність команди полягає в авторизації та намірах, а не обов'язково в самому коді. 
По суті, від моделі штучного інтелекту вимагається зробити висновок, чи є користувач фахівцем з безпеки, який проводить санкціоноване тестування, чи злочинцем, що націлився на реальну компанію. Якщо хакер надає достатньо правдоподібного контексту, змінює формулювання або починає нову сесію, модель може прийняти це легендоване прикриття. 
У випадку з цим інцидентом зловмисникам не довелося вимикати всі захисні механізми Cursor AI — їм було достатньо переконати його у своїх «добрих намірах». 

Розробники ШІ повинні продовжувати вдосконалювати засоби захисту, моніторинг зловживань, контроль облікових записів та виявлення підозрілих патернів. Будь-які заходи, що створюють додаткові перешкоди для зловмисників, є важливими.

Однак не можна будувати стратегію кібербезпеки на припущенні, що модель завжди розпізнає брехню. Природна мова гнучка, а контекст можна сфабрикувати. Легітимна робота з безпеки та атакуючі кібердії часто використовують одні й ті самі утиліти, команди та техніки.

Саме тому межа безпеки має проходити поза межами моделі. Навіть якщо ШІ вважає запит легітимним, саме середовище має незалежно вирішувати, чи дозволена запитана дія. 

Згідно із звітами, компанія Gambit Security оцінила, що Cursor AI міг допомогти цим зловмисникам працювати на 30–50% швидше, дозволяючи пропускати завдання, які в іншому випадку їм довелося б виконувати вручну. Водночас неможливо точно встановити, наскільки саме агент сприяв кожному злом або чи призвело кожне проникнення до крадіжки даних чи вимагання. 
Це пояснюється тим, що ШІ не винайшов нових методів кіберзлочинності — він просто робить уже відомі техніки швидшими та доступнішими. 

Організації мають ставитися до ШІ-інструментів та агентів як до ненадійних сутностей, навіть якщо вони схвалені для бізнесу. Дозвіл на використання ШІ-сервісу ніколи не повинен транслюватися в необмежений доступ до середовища.  
Саме тому Zero Trust став таким критичним.
Кожен ШІ-воркфлоу повинен мати вузьке призначення. Його ідентичність, сфери застосування, джерела даних, дочірні процеси, мережеві призначення та можливість підвищення привілеїв ніколи не повинні виходити за межі цієї мети. Дії, що мають значний вплив, повинні вимагати обґрунтованого схвалення з боку людини. 
Це поєднання двох принципів: наменших привілеїв (least privilege) та найменшої автономності (least agency): 
● Least privilege обмежує доступ системи до ресурсів. ● Least agency обмежує те, що система може вирішувати та виконувати без контрольної точки.
● Обидва принципи є обов'язковими.

Зараз лунатимуть заклики до ШІ-компаній зробити їхні моделі вправнішими у визначенні шкідливих намірів. І вони мають це робити. 
Але це ніколи не зніме з організацій відповідальності за контроль власних середовищ. 
ШІ за своєю природою схильний до маніпуляцій, оскільки працює на основі отриманої інформації та інструкцій. Якщо злочинець зможе надати переконливе обґрунтування, існує висока ймовірність, що модель піде на співпрацю. Навіть якщо один спосіб переконання не спрацює, зловмисник може спробувати інший. 
Варто очікувати, що такі спроби триватимуть і надалі, оскільки агенти стають дедалі більш спроможними. Відповідь полягає в тому, щоб не дати жодному користувачеві чи агенту перетворити правдоподібне пояснення на необмежене виконання дій. 
Підхід «нульової довіри» (Zero Trust) не вимагає від моделі ШІ вирішувати, чи виглядає хтось чесним. Він запитує: чи має ця ідентичність, на цьому пристрої, використовуючи цей додаток, право виконати цю конкретну дію просто зараз? Це той стандарт, який знадобиться організаціям у міру того, як кіберзлочинність із використанням ШІ ставатиме швидшою та дешевшою. 
Випадок із Cursor AI — це чітке попередження проти покладання на технології у питанні розуміння намірів, коли наслідки вимагають явного людського контролю та нагляду.