Te systemy, często nazywane “narzędziami oceny ryzyka“, są wykorzystywane do decydowania, czy oskarżeni mogą zostać zwolnieni przed rozprawą, czy należy zbadać zarzuty dotyczące zaniedbywania dzieci, do przewidywania, którzy uczniowie mogą przerwać naukę, i wiele więcej.
Uczenie maszynowe (ML) coraz bardziej przenika do wszystkich aspektów życia. Złożone, kontekstowe, stale zmieniające się wyzwania społeczne i polityczne są automatyzowane i prezentowane jako problemy matematyczne i techniczne. Jednocześnie badania nad niesprawiedliwością algorytmiczną pokazują, jak ML automatyzuje i utrwala historyczne, często niesprawiedliwe i dyskryminacyjne wzorce. Negatywne skutki systemów algorytmicznych, zwłaszcza dla zmarginalizowanych grup ludności, przyspieszyły prace nad sprawiedliwością algorytmiczną.
Wiele z obecnie używanych systemów opiera się na dużych ilościach danych historycznych i modelach uczenia maszynowego, które przewidują przyszłe zachowania i sukcesy uczestników systemu. Microsoft na przykład używa takich modeli do oceny umiejętności graczy w grach online, banki oceniają wiarygodność potencjalnych kredytobiorców składających wnioski o kredyt, a niektóre firmy nawet próbowały zautomatyzować weryfikację CV na otwarte stanowiska. W tych sytuacjach twórcy polegają na algorytmach.
Większość z tych prac jest jednak bardzo wąsko skoncentrowana i skupia się na dostrajaniu określonych modeli, poprawianiu reprezentatywności zbiorów danych i “łagodzeniu” zbiorów danych. Nawet jeśli takie działania mogą stanowić część rozwiązania, to sprawiedliwe podejście powinno uwzględniać szerszy obraz, np. niekwestionowane lub intuicyjne założenia w zbiorach danych, aktualne i historyczne niesprawiedliwości oraz asymetrie władzy.
Twórcy tych narzędzi i władze je stosujące twierdzą często, że oceny ryzyka mają poprawić decyzje ludzi poprzez wykorzystanie danych. Ale narzędzia oceny ryzyka (i dane używane do ich tworzenia) nie są tylko technicznymi systemami, które istnieją w izolacji – są z natury powiązane z polityką systemów, w których są stosowane, i mogą reprodukować ich uprzedzenia. Chcemy przyjrzeć się bliżej pojęciu narzędzi oceny ryzyka i zbadać przykłady ich zastosowania w praktyce.
1. Programy pomocy społecznej:
Jednym z najczęstszych zastosowań narzędzi oceny ryzyka jest ustalanie uprawnień do programów pomocy społecznej. Rządy zbierają na przykład dane o dochodach, statusie zatrudnienia i wielkości rodziny, aby zadecydować, czy rodzina ma prawo do pomocy żywnościowej lub zasiłku dla bezrobotnych. Analizując te dane, chcą mieć pewność, że osoby rzeczywiście potrzebujące pomocy otrzymają ją.
2. Przydział usług zdrowotnych:
W dziedzinie opieki zdrowotnej rządy korzystają z osobistych kart zdrowia i danych zdrowotnych, aby efektywnie rozdzielać zasoby. Strategia ta została na przykład zastosowana podczas pandemii, aby zidentyfikować grupy docelowe i priorytetowo je szczepić.
3. System wymiaru sprawiedliwości w sprawach karnych:
Narzędzia oceny ryzyka wkroczyły również do systemu prawa karnego. Analizują one przeszłość kryminalną i tło osoby, aby oszacować ryzyko ponownego popełnienia przestępstwa. Wyniki te mogą wpływać na decyzje dotyczące wysokości kaucji lub wymiaru kary, aby zapewnić bardziej sprawiedliwe i oparte na dowodach podejście w wymiarze sprawiedliwości.
4. Edukacja:
W dziedzinie edukacji dane odgrywają kluczową rolę w alokacji zasobów i analizie demograficznej. System edukacji jest jednym z najprostszych miejsc do zbierania danych, ponieważ w większości krajów nauka w szkole jest obowiązkowa. Dzięki systemowi edukacji rządy zdobywają informacje o finansach, relacjach rodzinnych, miejscu zamieszkania oraz zdrowiu psychicznym i fizycznym.
5. Podatki:
Pobór podatków to kolejny obszar, w którym wchodzą w grę osobiste dane finansowe. Rządy wykorzystują dane dotyczące dochodów i własności, aby określić wysokość podatku od nieruchomości, który dana osoba jest winna.
6. Zdrowie publiczne:
W kontekście zdrowia publicznego dane zbierane z różnych źródeł, takich jak aplikacje mobilne i urządzenia noszone, pomagają monitorować zdrowie populacji. Dzięki temu nawet firmy ubezpieczeniowe mogą przewidywać i szacować ryzyka oraz przyszłe komplikacje zdrowotne danej osoby.
7. Dotacje mieszkaniowe:
Rządy wykorzystują osobiste dane finansowe i mieszkaniowe, aby określić kwalifikacje do programów dotacji mieszkaniowych. Informacje o dochodach, wielkości rodziny i warunkach mieszkaniowych zapewniają, że osoby, które potrzebują dostępnego cenowo mieszkania, otrzymują niezbędne wsparcie.
8. Imigracja:
Urzędy imigracyjne polegają na danych osobowych przy podejmowaniu decyzji dotyczących przyznawania wiz i deportacji. Czynniki takie jak historia podróży, rejestr karny i status zatrudnienia są brane pod uwagę przy podejmowaniu decyzji imigracyjnych.
9. Zarządzanie katastrofami:
W przypadku klęsk żywiołowych rządy zbierają dane o poszkodowanej ludności, aby skutecznie wykorzystać swoje zasoby. Dane lokalizacyjne są na przykład wykorzystywane do identyfikacji obszarów wymagających natychmiastowej pomocy, co pomaga w szybkiej reakcji na katastrofy.
Dlaczego jest to ważne dla świata PRVCY?
Ponieważ posiadanie wszystkich tych danych czasem kusi rządy, aby próbować kontrolować nasze prywatne życie, jak widzieliśmy podczas plandemii.
Chociaż narzędzia oceny ryzyka są niewątpliwie obiecujące dla lepszego zarządzania, kwestie ochrony danych, sprawiedliwości i potencjalnych wypaczeń w tych systemach są wszechobecne. Znalezienie właściwej równowagi między korzystaniem z danych na korzyść społeczeństwa a ochroną praw jednostki jest stałym wyzwaniem dla rządów na całym świecie, i nie idzie im w tym dobrze.
W Stanach Zjednoczonych PATTERN był używany do podejmowania decyzji, czy osoby osadzone powinny być zwolnione z więzienia i umieszczone w domach w związku z wybuchem pandemii COVID-19.
PATTERN wydaje “wartości ryzyka” – zasadniczo liczby oceniające prawdopodobieństwo ponownego aresztowania lub uwięzienia osoby po zwolnieniu. Na podstawie progów, te wartości są następnie przekształcane w kategorie ryzyka. Na przykład wartość poniżej pewnej wartości może być uznana za “niskie ryzyko”, podczas gdy wartości na tej wartości lub powyżej mogą być sklasyfikowane jako “wysokie ryzyko” i tak dalej.
Eksperci ds. cyfrowego PRVCY nazywają ten system niesprawiedliwością algorytmiczną.
Sztuczna inteligencja opiera się na algorytmach uczenia maszynowego, które choć chwalone w branży technologicznej jako wszechstronne rozwiązanie, mają również swoje słabości. Jak każde inne systemy komputerowe, są podatne na błędy.
Na przykład w dziedzinie cyberbezpieczeństwa algorytmy uczenia maszynowego są wykorzystywane do szybkiej identyfikacji nieznanego wcześniej złośliwego oprogramowania. Tworzy to jednak dylemat: im wyższy współczynnik wykrywalności, tym większe prawdopodobieństwo, że system błędnie sklasyfikuje niegroźny plik jako złośliwy. Wynika to z podstawowej zasady działania uczenia maszynowego, gdzie system nie bada szczegółów obiektu, lecz porównuje jego cechy wizualne z obiektami już znanymi.
W niektórych sytuacjach obiekty nieszkodliwe mogą wyglądać bardzo podobnie do obiektów złośliwych, a system oparty na punktacji prawdopodobnie zaklasyfikowałby taki obiekt jako złośliwy. W kontekście, w którym zautomatyzowane systemy oceniają zachowania ludzi, ten szczególny aspekt systemów uczenia maszynowego może prowadzić do wielu nieprzyjemnych sytuacji, w których niewinna osoba zostanie niesłusznie wplątana w “nieprawidłowe” działania.
W innych przypadkach rządy wykorzystują zbieranie danych w sposób, o którym nawet nie wiemy, do czego służy.
W 2020 roku prezydentura Kostaryki znalazła się w poważnych tarapatach, gdy federalni śledczy przeprowadzili przeszukania w biurach prezydenta i zwolnili cztery prominentne osoby, w tym mentora i głównego współpracownika prezydenta. W centrum tego zamieszania znalazł się wydział analizy danych stworzony w Biurze Wykonawczym, który w ciągu poprzednich 18 miesięcy gromadził i analizował prywatne dane osobowe z różnych źródeł rządowych, rzekomo na potrzeby kształtowania polityki publicznej. Kluczowe było to, że jednostka analizy danych prezydenta nie miała podstawy prawnej, dopóki rząd nie wydał dekretu 19 lutego, który zezwolił jej na zbieranie i ocenianie prywatnych danych osobowych od innych instytucji rządowych.
Jak moglibyśmy zapewnić, że organy rządowe i inni decydenci będą pociągnięci do odpowiedzialności za potencjalne szkody, które mogą spowodować narzędzia oceny ryzyka?
Te systemy są podatne na problemy takie jak stronniczość twórców, błędne korelacje i pętle sprzężenia zwrotnego, a algorytmy nie zważają na kwestie etyczne, o ile autor tego nie przewidzi. Podanie wielkich ilości danych do systemu uczenia maszynowego i przyjmowanie wyników bez krytycznego podejścia może prowadzić do szeregu niezamierzonych skutków, w tym decyzji, które ostatecznie naruszają prawa niektórych obywateli.
W Europie i Ameryce opracowywane są obecnie przepisy, które zobowiązują firmy do dostarczania ludziom zrozumiałych informacji na temat tego, dlaczego ich ocena się pogorszyła lub poprawiła (ECOA 1974, GDPR 2016) – aby automatyzacja nie stała się testem blackbox (tester wie, co oprogramowanie powinno robić, ale nie wie jak). Jednak to samo nie dzieje się we wszystkich innych krajach, które rozważają wprowadzenie systemu ocen społecznych w przyszłości, przynajmniej na podstawie informacji, które możemy znaleźć w źródłach publicznych. Jeśli to prawda, oznacza to, że wiele decyzji może zostać całkowicie oddanych w ręce sztucznej inteligencji, co stwarza problem.
Ich zdolność do zmiany zasad działania systemu może znacząco wpłynąć na życie tych grup społecznych, które nie są w stanie wpłynąć na zasady oceny. Aby wspierać te zmiany, stworzyliśmy zasób dla Ciebie, abyś czuł się upoważniony do zadawania pytań, gdy agencje rządowe lub deweloperzy stawiają twierdzenia dotyczące narzędzi oceny ryzyka.
Większość z tych systemów opiera się na publicznie dostępnych interfejsach, które zawierają ogromne ilości danych osobowych, w tym wszystkie popełnione “przestępstwa”. Tego typu interfejsy są bardziej podatne na przecieki i mogą prowadzić do straszliwych konsekwencji dla osób, które padły ofiarą nielegalnego dostępu. Nie muszą być również zhakowane. Instytucje korzystające z takich systemów często udostępniają API, które pozwala na uzyskanie różnych wykroczeń danej osoby po wprowadzeniu informacji, takich jak jej numer telefonu lub numer paszportu.
Czy nasza rzeczywistość w całości przekształci się w rodzaj dystopijnej przyszłości, która opiera się na uczeniu maszynowym do podejmowania decyzji?
Jeszcze nie, ale prawdopodobnie tak. Nadal istnieje zbyt wiele niewiadomych i nie jest jasne, czy systemy ogólnokrajowe w krajach o tak różnorodnych formach rządzenia i ramach prawnych rzeczywiście mogą być wdrożone.
Jako obywatele ważne jest, aby być poinformowanym, w jaki sposób nasze dane są wykorzystywane i dążyć do przejrzystości i sprawiedliwości w tych systemach. Ostatecznie siła danych leży nie tylko w ich gromadzeniu, ale także w ich odpowiedzialnym i etycznym użyciu.
Jedno jest jednak jasne: ponieważ technologia rozwija się w niekontrolowany sposób, granice między technologią cyfrową a większymi społecznymi i politycznymi tematami będą się tylko bardziej zacierać. Dlatego mój #PoradyPRYWATNE:
