Nie ulega wątpliwości, że jesteśmy świadkami coraz powszechniejszego wykorzystania AI w biznesie – analiza predykcyjna trendów rynkowych, wykrywanie anomalii w sieciach komputerowych, personalizacja rekomendacji treści, automatyzacja procesów rekrutacyjnych czy systemy wspomagania decyzji, to tylko część potencjału, który drzemie w AI.
Nie będzie przesadą stwierdzenie, że to, co widzimy, to dopiero początek.
Następnym nieuniknionym etapem wdrażania AI w poszczególne dziedziny naszego życia będą usługi publiczne. Będą? Tak naprawdę już są – systemy wspomagania decyzji w sądownictwie są wykorzystywane w Stanach Zjednoczonych od 1998 roku! Mowa o systemie COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) opracowanym przez Northpointe Inc. – zadaniem tego system jest ocenianie ryzyka recydywy u osób oskarżonych i skazanych. Decyzje są podejmowane na podstawie analizy danych dostarczanych poprzez odpowiedzi na 137 pytań dot. m. in. danych demograficznych (wiek, płeć, rasa), historii kryminalnej, wykształcenia czy użycia zabronionych substancji.
Po co COMPAS?
Wprowadzając COMPAS obiecywano jak największą obiektywizację procesu decyzyjnego w trakcie procesów sądowych. Jaki był tego efekt końcowy? Obiektywizacja jak najbardziej zaszła – w końcu system nauczył się podejmować decyzje na podstawie dostarczonych mu danych. Czy była to jednak obiektywizacja procesów sądowych jako ogółu?
W 2016 ProPublica przeprowadziła badanie algorytmu COMPAS analizując dane ponad 10 tysiący oskarżonych z hrabstwa Broward na Florydzie. Stwierdzono, że algorytm poprawnie przewidywał w 61%. Co ciekawe, okazało się, że system częściej błędnie klasyfikował czarnoskórych jako wysokiego ryzyka popełnienia przestępstwa, a białych niskiego ryzyka. W przypadku wieku było podobnie – osoby poniżej 25. roku życia były 2,5 raza bardziej skłonne do uzyskania wyższego wyniku niż osoby w średnim wieku – nawet po uwzględnieniu tych czynników podanych w kwestionariuszu. Najbardziej zaskakujące wyniki przyniosła analiza modelu decyzyjnego w zależności od płci – to kobiety były o 19,4% bardziej skłonne do uzyskania wyższego wyniku od mężczyzn – ponownie, pomimo uwzględnienia tych samych czynników.
Dlaczego tak się dzieje?
Pomimo zapewnianej obiektywizacji, dostarczenie niepoprawnych danych prowadzi do zjawiska odwrotnego od zamierzonego. System uczący interpretuje dane po prostu jako dane, np. mniejszą lub większą liczbę czy łańcuch znaków – nie zna kontekstu historycznego, społecznego czy ludzkich emocji. Algorytmy uczące często działają jak „czarne skrzynki” – ich wewnętrzne działanie może być nieprzejrzyste i trudne do interpretacji nawet dla specjalistów w dziedzinie AI, pomimo że zrozumienie samej koncepcji ich działania nie należy do najtrudniejszych.
Wszystko sprowadza się do dostarczenia systemowi przykładowych danych treningowych wraz z oczekiwanymi odpowiedziami – w przypadku systemu COMPAS odpowiedziami są informacje, czy dana osoba jest winna lub nie. Na ich podstawie system uczący wykonuje szereg operacji matematycznych, które stworzą tzw. model, który później w przypadku dostarczania nowych danych będzie oceniać ryzyko popełnienia przestępstwa przez daną osobę.
Wyniki badań przedstawione przez ProPublica wywołały niemałe zamieszanie
Nie będzie niczym zaskakującym jeśli wspomnę, że zaczęto nazywać COMPAS systemem rasistowskim czy seksistowskim pomimo tego, że w ujęciu ogólnym przewiduje ryzyko recydywy skutecznie. Problem pojawia się jedynie przy konkretnych grupach badanych.
Systemy uczące mają to do siebie, że powinny być na bieżąco aktualizowane i kontrolowane – szczególnie w przypadku tak ważnym jak wspomaganie wymiaru sprawiedliwości. Dlatego tak ważne jest dostarczanie odpowiednich danych i umiejętność korzystania z nich. Nie zawsze wystarczy, że wrzucimy pewne dane do systemu i damy mu polecenie: „ucz się”. Osoba odpowiedzialna za taki system musi mieć pojęcie nie tylko o samym programowaniu, statystyce czy rachunku prawdopodobieństwa, ale także o ogólnie panujących realiach na świecie. Znajomość trendów życia społecznego, politycznego, ekonomicznego jest mile widziana. Bez tego daremne mogą być próby zrozumienia, a w konsekwencji przelania nabytej wiedzy o badanym zjawisku na kod w języku programowania.
Pozostaje jeszcze jedna, bardzo ważna kwestia
Kto będzie ponosić odpowiedzialność za ewentualnie źle podjęte decyzje? Firma dostarczająca system podejmowania decyzji, osoba odpowiedzialna za dostarczanie danych, sędzia, czy jeszcze ktoś inny? Uważam, że wraz z podbijaniem przez AI kolejnych sektorów gospodarki, a w konsekwencji także zaadaptowanie jej w usługach publicznych, otrzymamy wiele odpowiedzi na nurtujące nas pytania, ale jednocześnie tyle samo kolejnych zagadek.
