Дякуємо!
Ми зв'яжемося з вами найближчим часом
У цій статті ми розберемо, що насправді являє собою агентний ШІ, чому більшість заяв про створення «агентних» безпекових рішень є оманою, а також які юридичні, операційні та етичні проблеми виникають, коли автономне прийняття рішень впроваджується в середовища з високим рівнем відповідальності.
Штучний інтелект продовжує змінювати індустрію безпеки, але далеко не кожна нова етикетка «AI» означає реальний технологічний прорив. Одним із останніх термінів, який стрімко набирає популярності, став «агентний ШІ» (Аgentic AI). Цю концепцію все частіше застосовують до безпекових продуктів — часто без чіткого розуміння того, що вона означає і чи доречно використовувати її в системах, від яких залежить життя людей. Для фахівців із безпеки, які відповідають за захист людей, активів та критичної інфраструктури, критично важливо вміти відрізняти реальні інновації від маркетингового хайпу.
У цій статті ми розберемо, що насправді являє собою агентний ШІ, чому більшість заяв про створення «агентних» безпекових рішень є оманою, а також які юридичні, операційні та етичні проблеми виникають, коли автономне прийняття рішень впроваджується в середовища з високим рівнем відповідальності.
Для глибшого розуміння цього тренду також рекомендуємо прочитати нещодавню статтю Альберта Степаняна «Брудний секрет агентного ШІ в безпеці, який вам навряд чи сподобається», де детально досліджуються питання автономії, відповідальності та довіри до технологій безпеки.
У більшості випадків це «AI-washing» — перебільшенням ролі штучного інтелекту в продукті, коли реальна технологія цього не виправдовує. У випадку з «агентним ШІ» цей трюк полягає в тому, що звичайний заздалегідь фіксований робочий процес видають за автономну систему.
Проте існує й справжній агентний ШІ, і він несе в собі іншу, набагато глибшу проблему. Як розібратися в цих твердженнях і якою є реальність агентного ШІ в нашій галузі?
Агентний ШІ має чітке визначення. Це штучний інтелект, якому можна задати бажаний результат, і він здатний самостійно, без контролю чи вказівок людини, обирати та використовувати різні інструменти й підходи для досягнення цієї мети.
Пошук у відеоархіві природною мовою, автоматичне створення звітів про інциденти, процеси на основі чітких правил та виявлення критичних подій — усе це функції ШІ, які пропонують багато вендорів (зокрема й Scylla), але це не є «агентним ШІ».
Справжній агентний ШІ зазвичай зустрічається в системах, здатних виконувати прості повторювані завдання, такі як дослідження або написання коду. Інструменти на кшталт Claude Cowork та Claude Code — яскраві приклади агентного ШІ. Менш вдалі приклади можна побачити в нещодавніх експериментах, коли ШІ доручали керувати торговими автоматами чи кав'ярнями, а він приймав абсурдні рішення — наприклад, заповнював торговий автомат кубиками з вольфраму.
Чому слід з обережністю ставитися до продуктів безпеки на основі «агентного ШІ»
Тут є дві основні сфери занепокоєння:
● Коли наявність агентного ШІ декларується, але його там немає (чистий маркетинг). ● Коли справжній агентний ШІ використовується в неналежний або юридично ризикований спосіб.
Остання категорія має цілу низку критичних наслідків.
Маркетинговий хайп
Чесність — це все, коли йдеться про продукти, від яких залежить людське життя. Ви не можете вичерпно протестувати абсолютно весь код продукту, тому змушені покладатися на заяви розробника. Неправдиві твердження щодо агентного ШІ підривають будь-яку довіру до інших аспектів продукту.
Якщо вендор не може точно описати ключові аспекти свого рішення без перебільшень та неправдивих заяв, у чому ще він може вводити в оману? Чи можна довіряти заявам того, хто приписує своєму продукту неіснуючі функції?
Агентний ШІ не повинен приймати критично важливі рішення, за які хтось має нести персональну відповідальність. Наслідки рішень у сфері безпеки часто змінюють життя людей і вимагають людської оцінки та відповідальності.
Застосування агентного ШІ в безпеці докорінно відрізняється від його використання в розробці програмного забезпечення чи зборі інформації. У цих сферах ціна помилки низька, а її наслідки можна легко скасувати. У безпеці ж рішення мають серйозні наслідки і часто є незворотними.
Якщо під час пожежі ШІ заблокує всі двері, щоб локалізувати вогонь, і цим завадить евакуації людей — це зовсім інший рівень наслідків, ніж залишити частину коду некоректно відформатованим, поки програміст п'є каву. Якщо агентний ШІ помилково викличе озброєний спецназ (SWAT) до початкової школи, потенційний ефект буде зовсім іншим, ніж якщо алгоритм просто пропустить якесь кафе в ресторанному довіднику.
Агентний ШІ підходить лише в тих випадках, коли наслідки є незначними, результат є зворотним і в процесі бере участь людина, яка перевіряє результати на кожному критичному етапі. Проте на ринку його просувають саме із акцентом на «повну автономність без постійного контролю людини». Це абсолютно суперечить реальним потребам сфери безпеки.
Процеси, що піддаються обґрунтуванню
У сфері безпеки встановлено чіткі процеси саме тому, що спосіб реагування на інцидент є настільки ж важливим, як і кінцевий результат. У будь-якій регульованій галузі процеси встановлюються та виконуються для того, щоб забезпечити обґрунтований результат. Агентний ШІ, який досягає мети різними способами — це абсолютна протилежність тому, що потрібно для безпеки.
Агентний ШІ, який самостійно шукає шлях до результату, — це те саме, що взяти людину з вулиці без жодної підготовки чи інструкцій і очікувати від неї адекватної реакції на безпекові події. Жоден фахівець з безпеки на це не піде, оскільки в разі помилки виправдання цьому не буде.
У будь-якому юридичному питанні чи аудиту безпеки дії агентного ШІ будуть так само неприйнятними саме тому, що він не дотримується затверджених стандартних операційних процедур (SOP). Навіть якщо кінцевий результат виявиться правильним, сам процес його досягнення неможливо повторити, пояснити, або обґрунтовати. Наскільки впевнено ви почуватиметеся, захищаючи в суді рішення, яке досягає результату за допомогою невідомого, непроцедурного підходу?
Рівень відмов
Якісний ШІ залишає контроль людині та допомагає приймати рішення. Наприклад, система Scylla точно ідентифікує критичні події на величезних мережах камер, усуваючи когнітивне перевантаження оператора, і передає відібрану інформацію офіцеру безпеки. А вже він приймає рішення на основі контексту, задокументованих процедур та власного досвіду. Це поєднує сильні сторони як людини, так і ШІ.
Агентний ШІ для безпеки виключає людину як контрольний елемент, хоча ця технологія є новою, неперевіреною та має відносно низьку точність і стабільність результатів. Це прийнятно лише для завдань із низьким рівнем відповідальності.
Якісний ШІ може мати точність 95%. Це звучить солідно, але тільки не тоді, коли ми порівнюємо це з повсякденним життям або безпековими операціями. Якби ваша поїздка на роботу була безпечною на 95%, ви б потрапляли в серйозну аварію раз на 20 днів — тобто щомісяця. У світі щодня здійснюється близько 100 000 комерційних авіарейсів, які перевозять понад 10 мільйонів пасажирів. Рівень успішності 95% призвів би до 5 000 авіакатастроф та 500 000 загиблих у авіакатастрофах щодня.
Підсумок
Більшість маркетингових заяв про «агентний ШІ» — це скоріше хайп, ніж справжній технологічний прорив. Але навіть якби агентний ШІ дійсно був інтегрований у безпековий продукт, ви б не захотіли його використовувати. Ця технологія фундаментально суперечить потребі в точних, повторюваних та відповідальних рішеннях у сфері безпеки. Агентний ШІ має дуже серйозні правові та етичні наслідки в ситуаціях, де захист людського життя є найважливішим пріоритетом.
Компанія Scylla прагне створювати максимально зручні продукти для безпеки та просувати їх чесно та етично. Ми продовжуємо розширювати можливості людського судження, виявляючи критичні події за допомогою ШІ та оптимізуючи робочі процеси, але без усунення критично важливого людського контролю.
Заповніть форму, щоб отримати індивідуальну консультацію: