Etyka czarnej skrzynki. Czy wolno nam decydować o ludziach, gdy nie umiemy wyjaśnić decyzji modelu?

Wyobraź sobie, że stoisz przed sądem. Sędzia patrzy na Ciebie i mówi: „Wina udowodniona. 5 lat pozbawienia wolności”. Dlaczego? Bo algorytm tak powiedział. 98% skuteczności. Szczegóły? A któż to wie?

Brzmi jak państwo prawa? Raczej jak wróżenie z fusów u szeptuchy… Nasza cywilizacja stoi (a przynajmniej stała dotychczas) na fundamencie uzasadnienia decyzji. Sędzia musi napisać uzasadnienie wyroku. Lekarz – dokumentację medyczną. Urzędnik – protokół. A co robi AI? „98% skuteczności, powodów nie podam :)”.

To nie żart. To realny problem, który zagraża nie tylko sprawiedliwości, ale i naszemu rozumowi.

Czarne skrzynki już dziś decydują o Twoim życiu

Czarne skrzynki to modele AI, które dają wynik, ale nie tłumaczą drogi, która do tego wyniku doprowadziła. Tak działają głębokie sieci neuronowe – wrzucasz dane, wychodzi decyzja. Ale skąd dokładnie takie, a nie inne wnioski? Nie wiadomo. Ot magia matematyki. W sieciach neuronowych wiedza nie jest zapisana w jednej linijce kodu. Ona jest rozproszona w miliardach połączeń. To tak, jakbyś zapytał człowieka: “W której dokładnie komórce Twojego mózgu zapisana jest decyzja o tym, że dziś zjesz jabłko?”

Gdzie już to widzimy?

• Sądy: Algorytmy przewidują recydywę (np. amerykański system COMPAS). Skazany dostaje dłuższy wyrok, bo „AI mówi, że jesteś niebezpieczny”. Wyjaśnienie? Brak.
• Kredyty: Odmowa finansowania. „Model scoringowy tak zdecydował”. Dlaczego? „Tajemnica handlowa”.
• Medycyna: Algorytm odrzuca Cię z programu terapeutycznego. „Nie pasujesz do profilu”. Profil? Tajemnica.
• Rekrutacja: Nieznane algorytmy firmowe odrzucają Twoje CV. „Brak kompetencji”. Jakich? Nie dowiesz się.

Przeciętny zjadacz chleba nie ma o tym pojęcia, ale to już codzienność, a dodatkowo powrót do średniowiecza. Tyle że z ładnym interfejsem użytkownika.

Dlaczego wyjaśnienie jest (pozornie) niemożliwe?

Czarne skrzynki nie są błędem projektowym. To fundament działania nowoczesnego AI.

Wyobraź sobie prostą regułę: “Jeśli klient ma mniej niż 30 lat i dochód powyżej 5 tysięcy złotych, daj kredyt.” Jasne, zrozumiałe, przewidywalne.

Teraz weź sieci neuronowe – matkę wszystkich czarnych skrzynek. Wrzuć dane o kliencie: wiek, dochód, transakcje, lajki na FB, kolor sierści kota. Dane przechodzą przez gęsty labirynt miliardów parametrów, gdzie na każdym kroku są mnożone i przekształcane. Na wyjściu dostajemy gotowy werdykt, ale ścieżka, którą pokonały, jest nie do odtworzenia. Na wyjściu? “98% szans na spłatę”. Ale jak lajkowanie kotów na Facebooku wpłynęły na decyzję? Tego nie wie nikt.

Dlaczego tak się dzieje? Bo czarne skrzynki szukają korelacji, nie przyczynowości.

Model nie “rozumie” kredytu. On znajduje ukryte wzorce w danych – np. “Klienci, którzy lajkują koty, spłacają kredyty 2% częściej niż ci, którzy lajkują psy” (bo koty mają bogatszych właścicieli, statystycznie). To nie “mądrość”. To matematyczne wróżenie z fusów.

Cynthia Rudin z MIT, światowa liderka w dziedzinie wyjaśnialnego uczenia maszynowego, mówi wprost: “Jeśli nie rozumiesz, jak to działa, nie używaj tego”. Jeśli nie rozumiesz swojego narzędzia, nie operuj nim (zwłaszcza) na ludziach. Bo bez wyjaśnienia nie odróżnisz genialnego wglądu maszyny od zwykłego, statystycznego błędu wynikającego z tego, że model “wykrył” korelację koloru Twoich butów z historią spłat kredytu.

Ale dlaczego w ogóle dorobiliśmy się czarnych skrzynek?

Bo wybraliśmy drogę na skróty i skuteczność ponad przejrzystość i zrozumienie. W 2012 roku algorytm AlexNet dokonał niemożliwego, drastycznie zbliżając się do ludzkiej precyzji rozpoznawania obrazów – to tempo nas uwiodło i zapomnieliśmy zapytać “jak do tego doszło?”. Dziś operujemy już superinteligentnymi modelami z 98-procentową skutecznością, ale wciąż nikt nie wie, jak działają one w środku – korporacje goniły zyski, rządy przewagę nad rywalami i nikt nie zatrzymał się, by zapytać: “A co tam się dzieje pod maską?”

Ślepa wiara to rezygnacja z rozumu

Ufamy maszynie tylko dlatego, że jest statystycznie skuteczna. Nazywa się to dokładnie Automation Bias – ślepa wiara w algorytm. Ale nasze prawo wymaga odpowiedzialności. “Dlaczego?” jest pytaniem, na które państwo ma obowiązek odpowiedzieć. “Bo AI tak policzyło” nie jest odpowiedzią. To jest wyrok bez podstaw.

EU AI Act próbuje uregulować to zasadą “High-risk systems MUST be explainable” (systemy wysokiego ryzyka muszą być wyjaśnialne). Ale to wciąż teoria, bo w praktyce firmy ukrywają się za własnością intelektualną. Ale prawda jest jeszcze gorsza: firmy często same nie wiedzą, co kieruje takimi, a nie innymi wyborami AI.

Prawo do wyjaśnienia: Techniczne wytrychy otwierają skrzynki

Jeśli nie potrafisz wytłumaczyć, jak działa system, nie powinieneś mieć prawa wdrażać go w urzędach, sądach, szpitalach. Nie mówię tu o całkowitym zakazie – w rozrywce, rekomendacjach Netfliksa czarna skrzynka nikomu raczej nie zaszkodzi, ale nie zaszkodzi też dopisek: “Oto cyfrowy rzut kostką. Nie szukaj tu drugiego dna”.

W obszarach high-stakes – tam, gdzie stawką jest ludzkie życie, wolność, zdrowie lub życiowe oszczędności – nie ma miejsca na domysły. Dlatego tutaj powinno obowiązywać twarde moratorium na stosowanie “niemych” systemów – takich, które potrafią wydać wyrok, ale nie potrafią go uzasadnić. I to tak długo, dopóki standardem nie stanie się Explainable AI (XAI), czyli sztuczną inteligencją z funkcją „wyjaśniania”.

Dziś, w europejskich sądach (za sprawą AI ACT), gdy chcemy użyć algorytmu do oceny ryzyka recydywy, nie można już zasłonić się komunikatem “tak wyszło z obliczeń”. Trzeba wdrożyć metody interpretowalne, takie jak LIME czy SHAP. To techniczne “wytrychy”, które brutalnie otwierają czarną skrzynkę i zmuszają ją do wyłożenia kart na stół. Zamiast magicznego wyniku, sędzia i oskarżony otrzymują konkretną listę argumentów: “Oto 5 cech, które wpłynęły na wyrok: X, Y, Z…”.

Obawy? Oczywiście…

• “Ale 98% skuteczności!” – Tylko tyle, że skuteczność bez wyjaśnienia to ruletka, nie sprawiedliwość. Wolisz chirurga, który mówi “Przecinam tętnicę, bo szacuję 98% skuteczności” czy “Przecinam tętnicę, bo USG i biopsja potwierdziły guza w tym miejscu”?
• “Firmy uciekną!” – Współpracując z firmami budującymi nieodpowiedzialne AI, bazującymi na czarnych skrzynkach, dokładamy cegiełkę do budowy algorytmów decydujących bezpodstawnie o ludzkiej doli i niedoli. Ale każdy ma wybór.

Żądaj wyjaśnienia, chyba że lubisz fusy

Następnym więc razem, gdy otrzymasz informację: “AI tak zdecydowało” – zatrzymaj się i zapytaj: „Dlaczego?”

Nie dostaniesz odpowiedzi? W takim razie nie jest to decyzja. To wróżenie z fusów przebrane za neurony głębokie. Dziś Czarne Skrzynki to nowa tyrania – niewidzialna, ale realna. Niecelowa, ale krzywdząca.

Więcej artykułów z serii: Etyka w AI – między kodem a sumieniem:

• Etyka w AI – A komu to w ogóle potrzebne? Wszystkim, choć nie zdajemy sobie z tego sprawy
• Jednym etyka umyka, drugi się o nią potyka… Dlaczego każdy region reguluje AI po swojemu i co chce na tym ugrać?
• Magna Carta dla AI. Minimalny globalny pakiet zasad, bez którego nie powinniśmy ruszać dalej

Zapraszamy do lektury całego wydania (klikając w poniższą okładkę).