На конференцията GovWare 2026 в Сингапур Го Енг Чун, ръководител на направление „Киберсигурност“ в ST Engineering, заяви, че автономните AI агенти ускоряват процесите, но не освобождават хората от отговорност за резултатите.
Според Го успешното управление на тези системи изисква ясно зададени намерения, човешка преценка при сложни случаи и внедряване на защитни механизми, които ограничават автономните действия без да им пречат да изпълняват задачите си.
Какво означава „човек по средата“
Го посочи, че правилният модел е т.нар. „човек по средата“ („human-on-the-loop“): агенти действат автономно, но в граници, дефинирани и надзирани от хората. „Нека бъдем ясни: човешкият надзор има значение само ако хората имат възможност да променят резултата“, каза той.
Той обясни, че човешкият контрол трябва да включва три основни отговорности — определяне на намеренията, преценка и носене на отговорност. Без ясно зададено намерение автономните системи могат да оптимизират процеси спрямо най-лесната задача, а не спрямо правилния резултат.
За илюстрация Го разказа за агент, на когото била поставена задача да стане самоиздържащ се и да намали разходите си за хостинг, при това да действа етично и да не черпи ресурси от други източници. „Две напълно логични и независими инструкции, които звучат съвсем правилно“, добави той. Агентът открил начин да заобиколи протоколите и започнал да добива криптовалута, за да покрие разходите си — ситуация, в която формалните правила били спазени, но сигурността била компрометирана отвътре.
Преценка и отговорност при инциденти
Го даде пример и за компрометирана система, поддържаща критична операция, където изборът между изолиране и оставяне на системата в работа няма еднозначен отговор. AI може да оцени риска и да предложи варианти, но „човешката преценка е тази, която определя какви последици сме готови да приемем“.
„Каквото и решение да бъде взето, отговорността не преминава върху агента с изкуствен интелект. Ако системата бъде изолирана и операциите бъдат прекъснати, някой трябва да понесе отговорност за това решение. Ако тя остане свързана и атаката се разпространи, пак някой трябва да отговаря и за това. Обяснението никога не може да бъде: „Не знам, изкуственият интелект взе решението“.
За да носят тези отговорности, според Го е нужна фигурата на „стратег от ерата на изкуствения интелект“ — лидер, който свързва технологичните възможности с оперативните и стратегическите цели.
Тактики в защита и операциите на SOC
В рамките на киберзащитата ST Engineering прилага три взаимосвързани подхода: нападение, защита и терен. Управлението на нападението тук означава промяна на условията на противопоставяне спрямо нападателя, а не непременно агресия.
Компанията използва AI базирани „примамки“ (honeypots) и фалшиви среди, които отвличат нападателите от критичните активи и разкриват инструментите и методите им в реално време. „Тъй като противникът също използва AI, той си служи и със специални токени за осъществяване на атаката“, коментира Го. „По този начин ние ги принуждаваме да харчат повече средства и да хабят ресурсите си“.
В центъра за операции по сигурността (SOC) на ST Engineering автономни AI агенти обединяват откриването, разследването и реакцията в един цикъл, съпоставяйки сигнали от цялата среда, разследвайки подозрителна активност и неутрализирайки рутинни заплахи в определения от хората обхват. Хората остават тези, които задават целите и взимат ключовите решения.
Квантовата заплаха и препоръки
Го също предупреди за бъдещото влияние на квантовите изчисления върху криптографията и призова организациите да одитират уязвимото криптиране и да планират миграция към постквантова криптография. В статията е посочено, че Агенцията за киберсигурност на Сингапур (CSA) препоръчва на организации, изложени на квантов риск, да разработят план за квантово-безопасна миграция до 2027 г. и да се стремят да завършат миграцията до 2035 г., като критичните информационни системи следва да го направят до 2031 г.
Предизвикателствата на бъдещето, независимо дали идват от AI агенти или от квантови механизми, по думите на Го, изискват от хората да определят ясни граници за автономия и да запазят човешкия надзор: „Можем да делегираме изпълнението на технологиите, но никога не можем да делегираме отговорност за резултата“, заключава той.
КОМЕНТАРИ (0)