Czym jest AI Governance?

AI Governance to zbiór zasad, procesów i mechanizmów kontrolnych, które organizacja stosuje do bezpiecznego opracowywania, wdrażania i monitorowania swoich systemów AI zgodnie z obowiązującymi przepisami. Określa, kto odpowiada za decyzje podejmowane przez AI, w jaki sposób zarządzane jest ryzyko związane z AI oraz jak zapewnić możliwość przeprowadzania audytu systemów w dłuższej perspektywie. Skuteczne AI Governance obejmuje cały cykl życia AI – od pozyskiwania danych i opracowywania modeli po ich wdrożenie. AI Governance dotyczy nie tylko tradycyjnych modeli uczenia maszynowego, ale także nowoczesnych, autonomicznych agentów AI.

Dlaczego AI Governance ma znaczenie?

Wdrożenie AI bez odpowiedniego nadzoru może narazić organizacje na następujące zagrożenia:

Wyciek danych: Dane wrażliwe lub poufne przekazywane do narzędzi AI mogą zostać zachowane, ujawnione lub wykorzystane do trenowania modeli AI należących do podmiotów zewnętrznych, narażając tajemnice przedsiębiorstwa oraz informacje o klientach.
Stronnicze lub szkodliwe wyniki: Modele trenowane na nieprawidłowych lub wadliwych danych mogą utrwalać istniejące uprzedzenia, prowadząc do dyskryminujących rezultatów, które mogą szkodzić użytkownikom i skutkować kontrolą prawną.
Kary regulacyjne: Przepisy takie jak unijny AI Act przewidują poważne konsekwencje, a organizacje, które nie dysponują udokumentowanymi mechanizmami kontroli, mają trudności z wykazaniem zgodności.
Utrata zaufania klientów: Wystarczy jedno głośne niepowodzenie związane z AI, takie jak stronnicza decyzja lub wyciek danych, aby zniszczyć zaufanie budowane przez wiele lat.
Niekontrolowane rozrastanie się tożsamości: Wraz ze wzrostem liczby agentów AI i automatyzacji powstaje coraz więcej kont usługowych, tożsamości obciążeń roboczych oraz innych tożsamości nieosobowych (NHI), szybciej, niż zespoły ds. bezpieczeństwa są w stanie je monitorować. Pozostawione bez odpowiedniego nadzoru niekontrolowane rozrastanie się tożsamości prowadzi do powstawania osieroconych kont i niemożliwych do prześledzenia ścieżek dostępu, które mogą zostać wykorzystane przez atakujących do przemieszczania się w środowisku i eskalacji uprawnień.

Głównym celem AI Governance jest umożliwienie organizacjom szybszego i bardziej świadomego wdrażania AI. Dzięki jasno określonym wytycznym, zdefiniowanym zakresom odpowiedzialności oraz automatyzacji zespoły mogą wprowadzać innowacje bez ciągłego zastanawiania się, co jest bezpieczne lub dozwolone podczas korzystania z AI.

Podstawowe zasady AI Governance

Wiele modeli AI Governance opiera się na wspólnym zestawie zasad określających, jak w praktyce wygląda odpowiedzialne wykorzystanie AI, oraz zapewniających organizacjom spójny standard oceny stosowanych systemów.

Odpowiedzialność

Jasne określenie, kto odpowiada za decyzje i wyniki działania systemu AI, pozwala przypisać odpowiedzialność konkretnym pracownikom. Na przykład, jeśli model AI wpływa na decyzję rekrutacyjną lub oznacza transakcję jako podejrzaną, powinien istnieć wyznaczony właściciel lub zespół, który potrafi wyjaśnić sposób działania systemu AI i zareagować, gdy coś pójdzie nie tak. Bez jasno określonego właściciela odpowiedzialność rozprasza się między różnymi działami i nikt nie odpowiada za wykrywanie ani korygowanie błędów.

Przejrzystość

Decyzje podejmowane przez AI powinny być zrozumiałe, możliwe do prześledzenia podczas audytu i wyjaśnialne dla osób, których dotyczą. Zamiast działać jak „czarna skrzynka”, właściwie zarządzany system AI dokumentuje sposób dochodzenia do wniosków i tworzy przejrzystą dokumentację, którą mogą analizować audytorzy oraz organy regulacyjne. Możliwość wyjaśnienia działania systemu ma szczególne znaczenie w branżach wysokiego ryzyka, takich jak ochrona zdrowia i usługi finansowe, gdzie osoby, których dotyczą decyzje, mają prawo zrozumieć sposób ich podjęcia.

Sprawiedliwość i ograniczanie stronniczości

Organizacje muszą zapobiegać dyskryminowaniu określonych grup przez systemy AI oraz utrwalaniu uprzedzeń obecnych w danych treningowych. Ponieważ modele uczą się na podstawie danych historycznych, bez odpowiedniego nadzoru mogą odtwarzać, a nawet wzmacniać istniejące uprzedzenia. AI Governance przeciwdziała temu na wielu etapach: poprzez audyt danych treningowych, testowanie wyników dla różnych grup demograficznych oraz monitorowanie nierównego wpływu.

Bezpieczeństwo i prywatność

Modele AI muszą być chronione przed cyberatakami, a dane treningowe powinny być odpowiednio zabezpieczane przez cały cykl życia. Od zatruwania danych po prompt injection – systemy AI wprowadzają nowe powierzchnie ataku, a jednocześnie przetwarzają duże ilości danych wrażliwych. Skuteczny program AI Governance opiera się na zasadach bezpieczeństwa zero-trust, zgodnie z którymi żaden użytkownik ani system nie powinien być automatycznie uznawany za zaufany, a każde żądanie dostępu musi być stale weryfikowane. W połączeniu z odpowiednim przetwarzaniem danych i silnym szyfrowaniem pozwala to chronić zarówno model AI, jak i dane, od których zależy jego działanie.

Przykłady AI Governance

AI Governance wygląda różnie w zależności od branży oraz poziomu związanego z nią ryzyka. Poniżej przedstawiono kilka przykładów pokazujących, jak opisane wyżej zasady AI Governance są stosowane w praktyce.

Obsługa danych w ochronie zdrowia

Szpital wdrażający model AI do wspomagania ustalania priorytetów przypadków pacjentów przetwarza chronione informacje o stanie zdrowia (Protected Health Information, PHI), które podlegają przepisom takim jak HIPAA. W takiej sytuacji AI Governance określa, w jaki sposób dane wrażliwe pacjentów są anonimizowane przed przekazaniem ich do modelu oraz kto może uzyskać do nich dostęp. Model wymaga również, aby wszelkie wspomagane przez AI zalecenia kliniczne były – tam, gdzie jest to możliwe – wyjaśnialne i zawsze podlegały weryfikacji przez człowieka, dzięki czemu ostateczną decyzję podejmuje lekarz. Skuteczne AI Governance umożliwia pracownikom ochrony zdrowia korzystanie z AI przy jednoczesnym zapewnieniu ochrony prywatności pacjentów i spełnieniu wymogów regulacyjnych.

Zarządzanie ryzykiem modeli finansowych

Banki i instytucje finansowe wykorzystują modele AI do wykrywania oszustw, podejmowania decyzji inwestycyjnych oraz oceny zdolności kredytowej. Wadliwy model może prowadzić do poważnych strat finansowych i ujawnienia danych, co narusza obowiązujące wymogi regulacyjne. W tym kontekście AI Governance koncentruje się na zarządzaniu ryzykiem modeli poprzez ich weryfikację przed wdrożeniem, dokumentowanie sposobu podejmowania decyzji oraz ciągłe monitorowanie pod kątem stronniczości. AI Governance wymaga testowania modeli pod kątem sprawiedliwości oraz prowadzenia szczegółowych ścieżek audytu, które pozwalają wykazać organom regulacyjnym, w jaki sposób i dlaczego podjęto każdą decyzję.

Korporacyjny proces zatwierdzania wykonywania działań przez agentów AI

Wielu agentów AI może wykonywać autonomiczne działania, takie jak udostępnianie zasobów chmurowych czy wywoływanie interfejsów API, dlatego AI Governance zapewnia, że żaden agent nie działa bez odpowiedniego nadzoru. Typowy przepływ pracy AI rozpoczyna się od obserwowania zachowania agenta w monitorowanym środowisku. Następnie działania wysokiego ryzyka trafiają do etapu zatwierdzania, gdzie wyznaczona osoba zatwierdzająca musi je zaakceptować, zanim agent będzie mógł je wykonać. Każde działanie, każda decyzja i każde zatwierdzenie są rejestrowane w szczegółowej ścieżce audytu, zapewniając zespołom ds. bezpieczeństwa i zgodności pełną informację o tym, co zrobił agent i kto wyraził na to zgodę.

Jak wdrożyć AI Governance

Oto kilka sprawdzonych praktyk stanowiących dobry punkt wyjścia do wdrażania AI Governance:

Zacznij od przypadków użycia o najwyższym poziomie ryzyka i stopniowo rozszerzaj zakres. Zamiast próbować jednocześnie objąć AI Governance wszystkie systemy AI, należy w pierwszej kolejności skoncentrować się na rozwiązaniach stwarzających największe ryzyko, w tym przetwarzających dane wrażliwe lub działających autonomicznie.
Dostosuj poziom nadzoru do poziomu ryzyka. Nie każdy system AI wymaga takiego samego poziomu kontroli, dlatego w przypadku narzędzi o niskim wpływie należy stosować uproszczony proces weryfikacji, a wobec systemów o wysokim wpływie – kompleksowy nadzór, aby AI Governance zwiększało zaufanie do wykorzystywanych rozwiązań.
Traktuj AI Governance jako proces międzyfunkcyjny. AI obejmuje obszary prawne, bezpieczeństwa, zgodności oraz działalności biznesowej, dlatego żaden dział nie jest w stanie samodzielnie zarządzać AI. Skuteczne programy łączą te zespoły, aby przy podejmowaniu decyzji uwzględniać ryzyko dla bezpieczeństwa, cele biznesowe oraz wymagania dotyczące zgodności.
Wyznacz jednoznacznych właścicieli, aby uniknąć rozproszonej odpowiedzialności. Jeżeli odpowiedzialność za systemy AI jest rozproszona pomiędzy wiele zespołów, w praktyce nikt nie ponosi za nie pełnej odpowiedzialności. Należy wyznaczyć właściciela każdego systemu AI, aby miał on uprawnienia do podejmowania decyzji, zatwierdzania wdrożeń oraz uzasadniania wyników działania systemu.
Traktuj AI Governance jako proces ciągły. Systemy AI zmieniają się z upływem czasu, dlatego AI Governance wdrożone na początku powinno być regularnie weryfikowane w celu ponownej oceny ryzyka, ponownego testowania pod kątem stronniczości oraz aktualizowania zasad wraz ze zmianami technologii i wymogów regulacyjnych.
Zapewnij dokumentację i monitorowanie gotowe do audytu. Należy stale monitorować systemy AI pod kątem anomalii, dryfu modeli oraz niewłaściwego wykorzystania, a także prowadzić szczegółową dokumentację decyzji, zatwierdzeń i działania systemów. Dokumentacja przygotowana z myślą o audycie umożliwia wykazanie zgodności przed organami regulacyjnymi, analizowanie incydentów w trakcie ich występowania oraz ustalenie, kto zatwierdził dane działanie i z jakiego powodu.