Tato systémy, často označované jako “nástroje hodnocení rizik“, se používají k rozhodování, zda budou obžalovaní propuštěni před soudním řízením, zda se bude věnovat pozornost obviněním z nedbalosti vůči dětem, k předpovědím, kteří studenti by mohli přestat chodit do školy, a mnoho dalšího.
Strojové učení (ML) stále více proniká do všech oblastí života. Komplexní, kontextuální, neustále se měnící sociální a politické výzvy jsou automatizovány a zabaleny jako matematické a technické problémy. Současně výzkum o algoritmické nespravedlnosti ukazuje, jak ML automatizuje a udržuje historické, často nespravedlivé a diskriminační vzorce. Negativní dopady algoritmických systémů, zejména na marginalizované skupiny obyvatelstva, posouvají práci na algoritmické spravedlnosti.
Mnoho dnešních systémů se zakládá na velkém množství historických dat a modelech strojového učení předpovídajících budoucí chování a úspěchy účastníků systému. Například Microsoft využívá takové modely k hodnocení schopností hráčů v online hrách, banky posuzují spolehlivost potenciálních dlužníků při žádosti o úvěr a některé společnosti se dokonce pokusily automatizovat prověřování životopisů na volná pracovní místa. V těchto situacích se vývojáři spoléhají na algoritmy.
Většina těchto prací je však velmi úzce zaměřena a soustředí se na doladění určitých modelů, zlepšení reprezentativity datových sad a “zmírnění” datových sad. I když taková opatření mohou do určité míry pomoci, základně spravedlivý přístup musí zvážit celkový obraz, například nezpochybněné nebo intuitivní předpoklady v datových setech, aktuální a historické nespravedlnosti a mocenské asymetrie.
Vývojáři těchto nástrojů a úřady, které je využívají, často tvrdí, že hodnocení rizik zlepší rozhodování lidí pomocí dat. Ale nástroje hodnocení rizik (a data, která se používají k jejich vytvoření) nejsou jen technické systémy, které existují izolovaně – jsou od přírody provázány s politikou systémů, ve kterých jsou používány, a mohou reprodukovat zkreslení těchto systémů. Chceme se podrobněji zaměřit na koncept nástrojů hodnocení rizik a prozkoumat příklady jejich použití v praxi.
1. Programy sociální péče:
Jednou z nejběžnějších aplikací nástrojů hodnocení rizik je stanovení nároku na sociální programy. Vlády například shromažďují údaje o příjmech, zaměstnaneckém statusu a velikosti rodin, aby rozhodly, zda má rodina nárok na potravinovou pomoc nebo nezaměstnaneckou podporu. Analyzováním těchto údajů chtějí zajistit, aby ti, kdo skutečně potřebují pomoc, ji také dostali.
2. Přidělování zdravotní péče:
V oblasti zdravotní péče používají vlády osobní zdravotní záznamy a zdravotní data k efektivní distribuci zdrojů. Tato strategie byla například využívána během pandemie k určení cílových skupin a upřednostnění očkování.
3. Trestní justiční systém:
Nástroje hodnocení rizik pronikly také do trestního soudního systému. Analyzují kriminální minulost a zázemí osoby k posouzení rizika recidivy. Výsledky mohou ovlivnit rozhodnutí o výši kauce nebo trestu s cílem dosáhnout spravedlivějšího a na důkazech založeného přístupu v justici.
4. Vzdělávání:
V oblasti vzdělávání hrají data rozhodující roli při přidělování zdrojů a demografické analýze. Školství je jedním z nejjednodušších míst pro sběr dat, protože ve většině zemí je povinná školní docházka. Ze vzdělávacího systému získávají vlády informace o financích, rodinných poměrech, bydlišti i o duševním a fyzickém zdraví.
5. Daně:
Výběr daní je další oblast, kde se uplatňují osobní finanční údaje. Vlády používají údaje o příjmech a majetku k určení výše daně z nemovitosti, kterou osoba dluží.
6. Veřejné zdraví:
V kontextu veřejného zdraví pomáhají data z různých zdrojů, jako jsou mobilní aplikace a nositelná zařízení, sledovat zdraví populace. Mohou dokonce pomoci pojišťovnám předvídat a odhadovat rizika a budoucí zdravotní komplikace u člověka.
7. Bydlení:
Vlády používají osobní finanční a bytové údaje k určení nároku na programy bydlení. Informace o příjmu, velikosti rodiny a životních podmínkách zajišťují, že ti, kdo potřebují dostupné bydlení, získají potřebnou podporu.
8. Imigrace:
Imigrační úřady se spoléhají na osobní údaje při rozhodování o udělení víz a deportaci. Faktory jako cestovní historie, trestní rejstřík a zaměstnanecký status se zohledňují při rozhodování v imigračních záležitostech.
9. Ochrana před katastrofami:
Při přírodních katastrofách sbírají vlády data o zasaženém obyvatelstvu, aby mohly efektivně nasadit své zdroje. Například lokalizační data mohou být použita k identifikaci oblastí, které potřebují okamžitou pomoc, a tím pomoci při rychlé katastrofické pomoci.
Proč je to důležité pro PRVCY world?
Protože vlastnictví všech těchto dat někdy svádí vlády k tomu, aby byly chamtivé a pokoušely se kontrolovat naše osobní životy, jak jsme viděli během pandemie.
I když jsou nástroje pro hodnocení rizik nepochybně slibné pro zlepšení vládnutí, ochrana soukromí, spravedlnost a možné zkreslení v těchto systémech jsou všudypřítomné. Najít správnou rovnováhu mezi využíváním dat ve prospěch veřejnosti a ochranou práv jednotlivců je neustálou výzvou pro vlády po celém světě a nevykonávají svou práci příliš dobře.
Ve Spojených státech byl PATTERN použit k rozhodování o tom, zda by měli být vězněni lidé propuštěni z vězení při vypuknutí pandemie COVID-19 a umístěni do domácího vězení.
PATTERN vydává “rizikové skóre” – v podstatě čísla, která odhadují, jak pravděpodobné je, že bude osoba po propuštění znovu zatčena nebo uvězněna. Na základě prahových hodnot jsou tato skóre poté převedena do rizikových kategorií. Například hodnota pod určitou hodnotou může být považována za “nízké riziko”, zatímco hodnoty na nebo nad touto hodnotou jsou hodnoceny jako “vysoké riziko” a tak dále.
Digitální odborníci na PRVCY označují tento systém za algoritmickou nespravedlnost.
AI je založena na algoritmech strojového učení, které, ačkoliv jsou v technologickém průmyslu chváleny jako všestranné řešení, mají také své slabiny. Stejně jako každý jiný počítačový systém jsou náchylné k chybám.
V oblasti kybernetické bezpečnosti například používají algoritmy strojového učení k rychlému identifikování dosud neznámého škodlivého softwaru. Tím však vzniká dilema: čím vyšší je míra detekce, tím pravděpodobnější je, že systém omylem posoudí neškodný soubor jako škodlivý. To je dáno základním fungováním strojového učení, kdy systém nezkoumá detaily objektu, ale jeho vizuální vlastnosti srovnává s těmi u známých objektů.
V určitých scénářích mohou benigní objekty vypadat velmi podobně jako škodlivé objekty a systém založený na skórování by tento objekt pravděpodobně klasifikoval jako škodlivý. V kontextu, kde automatizované systémy hodnotí chování lidí, může tento konkrétní aspekt systémů strojového učení vést k mnoha nepříjemným situacím, kdy bude nevinná osoba mylně zapojená do “chybných” akcí.
V jiných příkladech používají vlády sběr dat způsobem, o kterém ani nevíme, k čemu.
V roce 2020 se prezidentská Costa Ricy dostala do značných turbulencí, když federální vyšetřovatelé provedli razie v kancelářích prezidenta a čtyři významné osobnosti, včetně mentora a hlavního spolupracovníka prezidenta, byly propuštěny. Ústředním bodem tohoto nepokoje bylo oddělení analýzy dat založené v exekutivních kancelářích, které v předcházejících 18 měsících shromažďovalo a analyzovalo soukromé osobní údaje z různých státních zdrojů, údajně kvůli pomoci při tvorbě veřejné politiky. Klíčový bod spočíval v tom, že oddělení analýzy dat prezidenta nemělo žádný právní základ, dokud vláda nevydala dne 19. února dekret, který schválil jeho založení a dal mu pravomoc požadovat důvěrné osobní údaje od jiných vládních agentur.
Jak můžeme zajistit, aby byly vládní úřady a další subjekty rozhodující pro potenciální škody způsobené nástroji pro hodnocení rizik hnány k zodpovědnosti?
Tyto systémy jsou náchylné k problémům jako je zaujatost vývojářů, nesprávné korelace a zpětné smyčky, a algoritmy nezohledňují etická hlediska, pokud je vývojář výslovně nespecifikoval. Pouhé vkládání obrovského množství informací do systému strojového učení a následné přijímání výsledku bez kritického zkoumání může vést k mnoha neúmyslným důsledkům, včetně rozhodnutí, která nakonec porušují práva určitých občanů.
V Evropě a Americe se v současnosti vyvíjejí zákony, které mají přimět společnosti k tomu, aby poskytovaly lidem srozumitelné informace o tom, proč se jejich hodnocení zhoršilo nebo zlepšilo (ECOA 1974, GDPR 2016) – aby se automatizace nestala testem blackboxu (tester ví, co má software dělat, ale ne jak). Totéž se však neděje ve všech ostatních zemích, které zvažují zavedení systému sociálního hodnocení v budoucnu, alespoň na základě informací, které jsme mohli najít v veřejných zdrojích. Pokud je to pravda, znamená to, že velké množství rozhodnutí může být plně svěřeno do rukou umělé inteligence, což představuje problém.
Vaše schopnost měnit pravidla, podle kterých systém funguje, může významně ovlivnit životy těch společenských skupin, které nejsou schopné ovlivnit hodnotící pravidla. Abychom podpořili tuto změnu, vytvořili jsme pro vás zdroj, který vám dává pocit, že se máte ptát, když vládní orgány nebo vývojáři činí tvrzení o nástrojích pro hodnocení rizik.
Většina těchto systémů je založena na veřejně přístupném rozhraní, které obsahuje obrovské množství osobních údajů, včetně všech spáchaných “trestných činů”. Tento typ rozhraní je náchylnější k únikům a může mít katastrofální důsledky pro napadené osoby v případě nelegálního přístupu. Nemusí být ani hacknuto. Instituce používající takové systémy často poskytují API, které umožňuje získat různé přestupky osoby zadáním informací, jako je její telefonní číslo nebo číslo pasu.
Transformuje se naše realita celkově do jakési dystopické budoucnosti, která se spoléhá na strojové učení při rozhodování?
Zatím ne, ale pravděpodobně ano. Stále je tu příliš mnoho neznámých a není jasné, zda mohou být celostátní systémy v zemích s tak různorodými vládními formami a legislativními rámci skutečně zavedeny.
Jako občané je důležité být informováni o tom, jak jsou naše data využívána, a usilovat o transparentnost a spravedlnost v těchto systémech. Nakonec síla dat nespočívá jen v jejich sběru, ale také v jejich odpovědném a etickém využití.
Jedno je však jasné: S neomezeným rozvojem technologií se hranice mezi digitální technologií a většími sociálními a politickými tématy ještě více rozostří. Proto zní můj #PRVCYTipps:
