W miarę rozwoju autonomicznych agentów AI, coraz powszechniejsza stawać się będzie rola tzw. non-human identities w systemach informatycznych, czyli tzw. cyfrowych tożsamości nie przypisanych do prawdziwych osób. Tradycyjne systemy służące ochronie danych w organizacji (Identity & Access Management), projektowane są z myślą o użytkownikach ludzkich, tym samym nie będąc w pełni dostosowane do zarządzania dostępem przez zaawansowanych, autonomicznych agentów AI. Problemy związane z IAM i z agentami AI stają się coraz bardziej wyraźne. Poskutkowały one opracowaniem przez Google pierwszych wytycznych dotyczących kontroli nad systemami autonomicznymi.
IAM w erze Sztucznej Inteligencji
Identity & Access Management (IAM) to zbiór procesów i technologii służących kontroli i zarządzaniu bezpieczeństwem dostępu do danych w systemach danej organizacji. Do systemów wiążących się z realizacją zadań z zakresu IAM zaliczyć można, m.in. procedury uwierzytelniania tożsamości lub blokowania nieautoryzowanych działań. Dynamiczny rozwój samodzielnych systemów AI sprawił, że powstała nowa kategoria problemów związanych z IAM. Zagadnienie to wpisuje się w szerszy problem kontroli nad działaniami autonomicznych systemów AI. W połowie czerwca, Google Deepmind opublikował dokument „AI Control Roadmap”, mający służyć za zręb dla systemu zarządzania bezpieczeństwem autonomicznych agentów. Dokument obejmuje kwestie z zakresu IAM, dotyczące np. kontroli dostępu czy monitoringu działań agentów.
AI poza kontrolą – niebezpieczeństwa związane z autonomicznymi agentami AI
Zdolność do samodzielnego działania agentów AI stanowi nie tylko ich największą zaletę, ale też źródło poważnego ryzyka. Nie jest bowiem tajemnicą, że agenci AI mogą działać w sposób nieprzewidywalny, a nawet niepożądany przez ich użytkowników. Wśród najpoważniejszych problemów w tym zakresie wskazać można:
- Niekontrolowane działanie AI w ramach przyznanego dostępu – problem ten występuje, gdy agent AI, wyposażony w szeroki dostęp do systemu, zaczyna działać w sposób nieprzewidziany przez właściciela systemu;
- Eskalacja uprawnień – sytuacja, w której agent AI, wykorzystując luki w bezpieczeństwie lub procedurach, uzyskuje dostęp do zasobów wykraczających poza uprawnienia przewidziane przez ich właściciela;
- Oversight Evasion – zdolność agenta AI do ukrywania własnej aktywności przed monitoringiem. W szczególności niebezpieczna jest sytuacja, w której agenci AI samowolnie wchodzą w interakcję z innymi agentami i systemami.
Niekontrolowane działanie AI jest problemem na tyle poważnym, że, autorzy AI Control Roadmap wskazali, że agenci AI powinni być traktowani jako potencjalne wewnętrzne zagrożenie dla systemów informatycznych organizacji (insider threat).
Krótka historia cyberbezpieczeństwa w Europie, czyli od NIS do NIS2
Co można zrobić?
Odpowiedzią na rosnące ryzyka jest koncepcja rozszerzenia dotychczas stosowanych modeli IAM o rozwiązania uwzględniające specyfikę AI. Wydaje się, że punktem wyjścia może być wdrożenie zasady minimalnych uprawnień (least privilege) oraz dynamicznego zarządzania uprawnieniami (just-in-time access), ograniczającego zakres działania agentów AI do niezbędnego minimum. Istotną kwestią jest również identyfikacja agentów (np. poprzez kryptograficzne poświadczenia), a także kontrola nad ich zachowaniem. Jednym z najbardziej przydatnych instrumentów kontroli nad ryzykiem stwarzanym przez agentów AI okazać się może tzw. architektura zero trust, zakładająca stały monitoring i weryfikację wdrażanych rozwiązań.
