Nadzór człowieka nad AI w administracji – kiedy człowiek naprawdę musi kontrolować wynik systemu?

Hasło „human in the loop” pojawia się niemal w każdej dyskusji o odpowiedzialnym wykorzystaniu sztucznej inteligencji.

Łatwo jednak sprowadzić je do pozornej zasady:

AI coś rekomenduje, a człowiek klika „zatwierdź”.

Taki model nie musi oznaczać rzeczywistego nadzoru.

Jeżeli pracownik nie rozumie ograniczeń systemu, nie ma czasu na własną ocenę, nie widzi danych potrzebnych do zakwestionowania wyniku albo w praktyce zawsze akceptuje rekomendację AI, jego obecność staje się formalnością.

Z drugiej strony AI Act nie ustanawia ogólnej zasady, zgodnie z którą każdy wynik każdego systemu AI musi zostać zatwierdzony przez człowieka przed wykorzystaniem.

W jednostce sektora finansów publicznych (JSFP) trzeba najpierw ustalić:

jaki system jest używany → do czego służy → jaki wpływ ma jego wynik → jakie przepisy mają zastosowanie → jaki poziom nadzoru jest potrzebny.

Stan prawny: 2 września 2026 r.

Trzy różne reżimy kontroli człowieka

W praktyce trzeba rozdzielić co najmniej trzy sytuacje.

Korekta językowa pisma przez generatywną AI, system rekomendujący przyznanie świadczenia i całkowicie automatyczne rozstrzygnięcie wywołujące skutki prawne wobec osoby to trzy różne sytuacje prawne.

Art. 14 i art. 26 – dostawca umożliwia nadzór, urząd go organizuje

AI Act dzieli odpowiedzialność pomiędzy dostawcę systemu i podmiot stosujący.

Art. 14 określa przede wszystkim sposób zaprojektowania systemu wysokiego ryzyka. System ma umożliwiać skuteczny nadzór osoby fizycznej podczas używania.

Zgodnie z art. 14 ust. 3 środki nadzoru mogą być wbudowane w system przez dostawcę – jeżeli jest to technicznie wykonalne – lub zostać przez niego wskazane jako środki, które powinien wdrożyć podmiot stosujący. Zależnie od przypadku można zastosować oba rozwiązania. Odpowiednie informacje powinny znaleźć się w instrukcji używania.

Art. 26 przenosi problem na poziom organizacji używającej systemu. Podmiot stosujący ma m.in. powierzyć nadzór osobom fizycznym posiadającym niezbędne kompetencje, szkolenie i uprawnienia oraz zapewnić im potrzebne wsparcie.

W przypadku urzędu trzeba więc odpowiedzieć na dwa pytania:

1. Czy system technicznie pozwala człowiekowi skutecznie wykonywać nadzór?
2. Czy jednostka zorganizowała proces tak, aby człowiek rzeczywiście mógł z tych możliwości korzystać?

Dobra procedura nie naprawi systemu, który nie pozwala odrzucić rekomendacji. Dobry system nie naprawi organizacji, w której pracownik nie ma czasu ani uprawnień do zakwestionowania wyniku.

Kiedy art. 14 i 26 zaczną być stosowane?

Po zmianach wprowadzonych rozporządzeniem (UE) 2026/1744 sekcje 1–3 rozdziału III, z wyjątkiem art. 6 ust. 5, będą stosowane:

• od 2 grudnia 2027 r. wobec systemów zaklasyfikowanych jako wysokiego ryzyka na podstawie art. 6 ust. 2 i załącznika III;
• od 2 sierpnia 2028 r. wobec systemów zaklasyfikowanych jako wysokiego ryzyka na podstawie art. 6 ust. 1 i załącznika I.

Nie oznacza to okresu bez wymagań. Już obecnie mogą mieć zastosowanie RODO, Kodeks postępowania administracyjnego, przepisy sektorowe, zasady bezpieczeństwa oraz te części AI Act, które są już stosowane.

Systemy już używane – trzeba sprawdzić art. 111

Dat 2027 i 2028 nie można automatycznie stosować do każdego starszego systemu.

Art. 111 ust. 2 ustanawia szczególny reżim dla systemów wysokiego ryzyka wprowadzonych do obrotu lub oddanych do użytku przed właściwą datą rozpoczęcia stosowania rozdziału III.

W odniesieniu do operatorów takich systemów obowiązki rozporządzenia znajdą co do zasady zastosowanie, jeżeli po właściwej dacie system zostanie poddany znaczącym zmianom konstrukcji. Jest to pojęcie prawa AI Act – nie należy utożsamiać go automatycznie z każdą aktualizacją, zmianą konfiguracji czy poprawką oprogramowania.

Niezależnie od tego dostawcy i podmioty stosujące systemy wysokiego ryzyka przeznaczone do używania przez organy publiczne mają podjąć niezbędne działania zapewniające zgodność najpóźniej do 2 sierpnia 2030 r.

Art. 4 obowiązuje już teraz

Z nadzorem bezpośrednio wiążą się kompetencje osób korzystających z AI.

Art. 4 znajduje zastosowanie od 2 lutego 2025 r. Po zmianie z 2026 r. dostawcy i podmioty stosujące mają podejmować środki wspierające rozwój kompetencji w zakresie AI swojego personelu i innych osób korzystających z systemów w ich imieniu.

Przepis nakazuje uwzględniać m.in. wiedzę techniczną, doświadczenie, wykształcenie i szkolenie, kontekst używania systemu oraz osoby, wobec których AI jest wykorzystywana. Nie wymaga natomiast zagwarantowania z góry określonego poziomu kompetencji każdej osobie.

Człowiek nie może skutecznie kontrolować systemu, którego przeznaczenia, ograniczeń i typowych błędów nie rozumie.

Nadzór nie oznacza zatwierdzania każdego wyniku

Art. 14 wymaga, aby środki nadzoru były proporcjonalne do ryzyka, poziomu autonomii i kontekstu używania systemu.

W zależności od funkcji systemu i wyników oceny ryzyka elementem modelu nadzoru mogą być m.in.:

• bieżący monitoring;
• przegląd alertów;
• analiza odchyleń;
• okresowa ocena jakości;
• kontrola odpowiednio dobranej próby;
• ręczna obsługa przypadków nietypowych.

Nie przesądza to jednak, czy w konkretnym procesie trzeba sprawdzić każdy wynik przed jego wykorzystaniem.

Kontrola próbkowa może być racjonalnym elementem monitorowania systemu klasyfikującego duży wolumen technicznych dokumentów. Będzie znacznie trudniejsza do uzasadnienia jako jedyny mechanizm kontroli, gdy pojedyncza rekomendacja AI wpływa na prawo konkretnej osoby do świadczenia.

Proporcjonalność nie oznacza dowolnego ograniczania nadzoru. Model nadal musi realizować cel art. 14 – przeciwdziałać ryzykom dla zdrowia, bezpieczeństwa i praw podstawowych.

Co człowiek powinien naprawdę móc zrobić?

Art. 14 ust. 4 pokazuje bardzo praktycznie, czym ma być nadzór.

1. Rozumieć możliwości i ograniczenia systemu

Osoba sprawująca nadzór nie musi znać kodu źródłowego. Powinna jednak wiedzieć:

• jakie jest przeznaczenie systemu;
• czego system nie powinien robić;
• jaka jest znana jakość jego działania i jakimi miarami jest opisywana;
• dla jakich danych, sytuacji lub grup działa słabiej;
• jakie są znane ograniczenia i typowe błędy;
• kiedy wynik powinien wzbudzić szczególną ostrożność.

2. Monitorować działanie

Powinna umieć zauważyć anomalię, nagłe pogorszenie jakości, niespójny wynik, nieoczekiwane zachowanie, powtarzający się błąd lub działanie niezgodne z przeznaczeniem.

3. Prawidłowo interpretować wynik

Jeżeli system pokazuje:

„ryzyko: 87%”

pracownik powinien wiedzieć, co ten parametr oznacza, na jakiej podstawie został wyliczony i czego z niego nie można wywnioskować. Precyzyjnie wyglądająca liczba nie jest jeszcze podstawą decyzji.

4. Zakwestionować wynik

Art. 14 ust. 4 przewiduje możliwość podjęcia decyzji o nieużywaniu systemu w danej sytuacji oraz zignorowania, unieważnienia albo odwrócenia jego wyniku.

Jeżeli pracownik formalnie „kontroluje” rekomendację, ale interfejs nie pozwala jej odrzucić albo przekazać sprawy do ręcznego rozpoznania, trudno mówić o realnej kontroli.

5. Interweniować lub zatrzymać działanie

W odpowiednim przypadku osoba sprawująca nadzór powinna móc interweniować w działanie systemu albo przerwać jego pracę w sposób prowadzący do bezpiecznego zatrzymania.

Nie oznacza to, że każdy pracownik musi mieć globalny „wyłącznik AI”. Procedura powinna jednak określać:

• kto może zatrzymać konkretną operację;
• kto może wyłączyć funkcję;
• kto podejmuje decyzję o zawieszeniu systemu;
• jak wygląda eskalacja.

Nadzór merytoryczny nie może zostać powierzony wyłącznie IT

Osoba kontrolująca wynik musi przede wszystkim rozumieć proces, w którym wynik będzie wykorzystany.

Jeżeli AI wspiera ocenę wniosku o świadczenie, administrator techniczny może doskonale znać architekturę systemu, ale nie musi być osobą właściwą do oceny, czy rekomendacja jest merytorycznie i prawnie poprawna.

Skuteczny nadzór jest więc zazwyczaj efektem współpracy funkcji merytorycznych i technicznych.

Automation bias – człowiek może jedynie pozornie kontrolować AI

AI Act wprost wskazuje ryzyko automation bias, czyli automatycznego lub nadmiernego polegania na wynikach systemu – szczególnie gdy AI przedstawia informacje lub rekomendacje wykorzystywane przez człowieka przy podejmowaniu decyzji.

Załóżmy, że przez kilka miesięcy rekomendacje systemu są najczęściej poprawne. Pracownik stopniowo przestaje dokładnie analizować materiał sprawy i przyzwyczaja się do przycisku „zaakceptuj”. W kolejnym przypadku AI popełnia poważny błąd.

Formalnie człowiek uczestniczył w procesie. Faktycznie wynik systemu determinował rozstrzygnięcie.

Jak ograniczać automation bias?

AI Act nie ustanawia zamkniętego katalogu metod. Organizacyjnie warto rozważyć m.in.:

• przedstawianie wyniku jako „rekomendacji AI”, a nie „decyzji”;
• zapewnienie łatwego dostępu do materiałów źródłowych;
• umożliwienie odrzucenia wyniku bez nadmiernych formalności;
• analizowanie sytuacji, w których pracownik nie zgodził się z AI;
• monitorowanie odsetka rekomendacji automatycznie akceptowanych;
• w procesach wysokiego wpływu – rozważenie wstępnej oceny pracownika przed pokazaniem rekomendacji AI.

Ostatni element jest dobrą praktyką ograniczającą efekt zakotwiczenia, a nie uniwersalnym obowiązkiem wynikającym z AI Act.

W postępowaniu administracyjnym „human in the loop” nie wystarcza

Wykorzystując AI przy załatwianiu indywidualnych spraw administracyjnych, nie można ograniczyć analizy do art. 14 AI Act.

Kodeks postępowania administracyjnego wymaga m.in., aby organ:

• działał na podstawie przepisów prawa – art. 6;
• podejmował czynności konieczne do dokładnego wyjaśnienia stanu faktycznego – art. 7;
• wyczerpująco zebrał i rozpatrzył materiał dowodowy – art. 77 § 1;
• na podstawie całokształtu materiału samodzielnie ocenił, czy dana okoliczność została udowodniona – art. 80.

Dodatkowo art. 107 § 1 KPA określa elementy decyzji, w tym uzasadnienie faktyczne i prawne, natomiast art. 107 § 3 wymaga m.in. wskazania faktów uznanych za udowodnione, dowodów, na których organ się oparł, oraz przyczyn odmowy wiarygodności i mocy dowodowej innym dowodom.

Rekomendacja AI nie zastępuje oceny, którą prawo powierza organowi.

Przed zastosowaniem AI trzeba więc ustalić nie tylko sposób kontrolowania wyniku, ale również:

1. czy wykorzystanie AI na danym etapie ma odpowiednią podstawę prawną i jest dopuszczalne;
2. jaki status w postępowaniu ma informacja lub rekomendacja systemu;
3. czy organ nadal samodzielnie ustala stan faktyczny i ocenia materiał;
4. czy końcowe rozstrzygnięcie można uzasadnić na podstawie prawnie relewantnych przesłanek.

Sama funkcja „odrzuć rekomendację” nie rozwiązuje tych problemów.

Art. 22 RODO – podobny temat, ale inny mechanizm prawny

Art. 22 RODO już obecnie ustanawia zasadę, zgodnie z którą osoba ma prawo nie podlegać decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, jeżeli wywołuje ona wobec tej osoby skutki prawne lub w podobny sposób istotnie na nią wpływa.

Człowiek rzeczywiście uczestniczy w pierwotnej decyzji

Jeżeli pracownik samodzielnie analizuje materiał, może zakwestionować rekomendację i nie przypisuje wynikowi AI decydującego charakteru, decyzja może nie być decyzją opartą wyłącznie na automatycznym przetwarzaniu. Samo formalne zatwierdzenie wyniku nie wystarcza.

W sprawie SCHUFA, C-634/21 TSUE wskazał, że automatycznie obliczony scoring może zostać objęty art. 22, jeżeli podmiot formalnie podejmujący ostateczną decyzję przypisuje takiemu wynikowi w praktyce decydujące znaczenie.

Interwencja człowieka jest późniejszą gwarancją

Art. 22 ust. 2 RODO dopuszcza określone wyjątki od zasady z ust. 1. W przypadkach opartych na niezbędności do zawarcia lub wykonania umowy albo wyraźnej zgodzie administrator musi zapewnić co najmniej:

• możliwość uzyskania interwencji człowieka;
• możliwość przedstawienia własnego stanowiska;
• możliwość zakwestionowania decyzji.

Interwencja może więc nastąpić po automatycznym rozstrzygnięciu, jako prawo osoby, a nie jako obowiązkowa kontrola każdego przypadku przed wydaniem wyniku.

W administracji art. 22 ust. 2 lit. a dotyczący umowy oraz lit. c dotyczący wyraźnej zgody zwykle nie będą naturalną podstawą dla władczego rozstrzygania spraw.

Szczególne znaczenie ma lit. b: automatyczna decyzja może być dozwolona przez prawo Unii lub państwa członkowskiego, ale prawo to musi jednocześnie ustanawiać odpowiednie środki ochrony praw, wolności i prawnie uzasadnionych interesów osoby.

Dlatego należy odrębnie oceniać udział człowieka w pierwotnym rozstrzygnięciu oraz prawo do późniejszej interwencji człowieka po automatycznej decyzji.

Czy każdy wynik narzędzia generatywnej AI trzeba sprawdzać?

Nie na podstawie samego art. 14.

Jeżeli pracownik używa narzędzia generatywnej AI – np. ChatGPT, Copilota lub innego systemu – do przygotowania struktury prezentacji czy poprawienia języka dokumentu, nie oznacza to automatycznie stosowania reżimu systemów wysokiego ryzyka.

Jednostka powinna jednak określić poziom kontroli proporcjonalny do skutków:

Jest to model organizacyjny, a nie ustawowy katalog poziomów nadzoru.

Poziom kontroli wyniku nie przesądza również o tym, czy konkretnego narzędzia można w ogóle użyć. Osobno trzeba oceniać ochronę danych osobowych, tajemnice prawnie chronione, bezpieczeństwo informacji, warunki usługi oraz zasady zarządzania dokumentacją.

Szczególny przypadek – dwie osoby muszą potwierdzić identyfikację

Dla systemów wysokiego ryzyka dotyczących zdalnej identyfikacji biometrycznej, o których mowa w załączniku III pkt 1 lit. a, art. 14 ust. 5 wymaga co do zasady, aby na podstawie wyniku systemu nie podjęto działania ani decyzji, dopóki identyfikacja nie zostanie odrębnie zweryfikowana i potwierdzona przez co najmniej dwie osoby posiadające wymagane kompetencje, szkolenie i uprawnienia.

Wyjątek może dotyczyć określonych zastosowań związanych ze ściganiem przestępstw, migracją, kontrolą graniczną lub azylem, jeżeli prawo Unii albo prawo krajowe uznaje wymóg podwójnej weryfikacji za nieproporcjonalny.

Nie istnieje jednak ogólna zasada „dwóch par oczu” dla wszystkich systemów AI.

Jak dokumentować ingerencję człowieka?

W systemach wysokiego ryzyka AI Act przewiduje mechanizmy automatycznego rejestrowania zdarzeń. Art. 26 będzie również wymagał od podmiotu stosującego przechowywania automatycznie generowanych logów znajdujących się pod jego kontrolą przez odpowiedni okres, zasadniczo co najmniej sześć miesięcy, chyba że inne właściwe przepisy przewidują inaczej.

Nie wynika z tego uniwersalny obowiązek ręcznego wpisywania przy każdym wyniku: „pracownik przeczytał rekomendację i ją zaakceptował”.

W procesach o dużym wpływie warto jednak zapewnić możliwość odtworzenia:

• użytego systemu i jego wersji;
• momentu wygenerowania wyniku;
• wyniku AI;
• osoby dokonującej oceny;
• informacji, czy wynik zaakceptowano, zmieniono lub odrzucono;
• ewentualnej eskalacji;
• w przypadkach wymagających uzasadnienia – przyczyn przyjęcia określonego sposobu działania.

Zakres dokumentowania powinien być proporcjonalny do znaczenia procesu.

Nie utrudniaj zakwestionowania AI

Jeżeli zaakceptowanie rekomendacji wymaga jednego kliknięcia, a jej odrzucenie napisania półstronicowego uzasadnienia, jednostka sama zwiększa ryzyko automation bias.

Można temu przeciwdziałać np. poprzez:

• krótkie kategorie przyczyn odrzucenia;
• komentarz tylko dla przypadków istotnych;
• rozbudowane uzasadnienie tam, gdzie wymaga go charakter procesu;
• analizę zbiorczą sytuacji, w których pracownicy nie zgodzili się z systemem.

Test realnego nadzoru – osiem pytań

1. Kto konkretnie sprawuje nadzór nad wynikiem AI?
2. Czy ta osoba rozumie proces, przeznaczenie i ograniczenia systemu?
3. Czy ma dostęp do informacji potrzebnych do samodzielnej oceny?
4. Czy może odrzucić, zmienić albo zignorować wynik AI?
5. Czy może zatrzymać proces lub skutecznie eskalować problem?
6. Czy ma czas, kompetencje, uprawnienia i wsparcie potrzebne do rzeczywistej oceny?
7. Czy jednostka monitoruje ryzyko nadmiernego polegania na rekomendacjach AI?
8. Czy po fakcie można ustalić, jaki wpływ AI i człowiek miały na przebieg procesu?

Jeżeli na kilka z tych pytań odpowiedź brzmi „nie”, zapis „zapewniono human in the loop” nie rozwiązuje problemu.

Co warto przygotować w JSFP?

Dla zastosowań o istotnym wpływie warto opracować krótki plan nadzoru człowieka, określający:

• system i przypadek użycia;
• właściciela procesu;
• role sprawujące nadzór;
• wymagane kompetencje;
• dostępne informacje;
• możliwość zakwestionowania i odrzucenia wyniku;
• sytuacje wymagające eskalacji;
• zasady zatrzymania systemu;
• sposób monitorowania automation bias;
• zakres logowania i dokumentowania ingerencji;
• moment ponownej oceny modelu nadzoru.

Nie jest to uniwersalny formularz wymagany przez AI Act. Jest to rekomendowany mechanizm organizacyjny, który pozwala zaprojektować nadzór przed wdrożeniem i później wykazać, że nie był on wyłącznie formalny.

Podsumowanie

Największym błędem jest założenie:

„Skoro pracownik kliknął zatwierdź, wynik został rzeczywiście skontrolowany przez człowieka.”

Rzeczywisty nadzór istnieje wtedy, gdy człowiek rozumie system i jego ograniczenia, ma dostęp do materiału potrzebnego do własnego osądu, posiada odpowiednie kompetencje i czas, może zakwestionować, odrzucić lub zmienić rekomendację, może zatrzymać albo eskalować proces i rzeczywiście ma organizacyjne warunki, aby z tych możliwości korzystać.

W administracji dochodzi jeszcze jeden element: AI nie może zastąpić oceny i kompetencji, które przepisy powierzają organowi.

Dlatego najlepsze pytanie nie brzmi: „Czy mamy człowieka w pętli?”, lecz:

„Czy człowiek ma realne warunki, aby zakwestionować wynik AI — i czy użycie systemu w tym miejscu procesu jest prawnie dopuszczalne?”

Podstawy prawne i materiały

Aktualny AI Act określa model nadzoru człowieka przede wszystkim w art. 14, obowiązki podmiotu stosującego w art. 26, kompetencje w zakresie AI w art. 4 oraz zasady przejściowe w art. 111.

AI Act – tekst skonsolidowany na 27 lipca 2026 r.

Rozporządzenie (UE) 2026/1744 zmieniające AI Act

Art. 22 RODO reguluje odrębnie zautomatyzowane podejmowanie decyzji w indywidualnych przypadkach.

RODO – tekst w EUR-Lex

W sprawie C-634/21 SCHUFA Holding (Scoring) TSUE wyjaśnił znaczenie faktycznej roli automatycznie ustalonego wyniku w końcowym procesie decyzyjnym.

TSUE – sprawa C-634/21 SCHUFA Holding

W postępowaniu administracyjnym istotne są w szczególności art. 6, 7, 77 § 1, 80 oraz art. 107 § 1 i 3 KPA.

Kodeks postępowania administracyjnego – Dz.U. 2025 poz. 1691