Ezeket a rendszereket, amelyeket gyakran „Kockázatértékelési eszközök”-nek neveznek, arra használják, hogy eldöntsék, szabadlábra helyezzenek-e vádlottakat a tárgyalás előtt, nyomozzanak-e gyermekelhanyagolási vádak esetén, előre jelezzék, mely diákok hagyhatják ott az iskolát, és még sok más esetben.
Gépi tanulás (ML) egyre inkább áthatja életünk minden területét. Bonyolult, kontextuális, folyamatosan változó társadalmi és politikai kihívások automatizálódnak és matematikai, technikai problémákká válnak. Ugyanakkor az algoritmikus igazságtalanságról szóló kutatások megmutatják, hogy az ML hogyan automatizálja és tartja fenn a történelmi, gyakran igazságtalan és diszkriminatív mintákat. Az algoritmikus rendszerek negatív következményei, különösen a marginalizált csoportokra nézve, előmozdították az algoritmikus méltányosság tárgykörének kiemelt figyelmét.
A ma alkalmazott rendszerek nagy része történelmi adatok nagy mennyiségén és gépi tanulási modelleken alapul, amelyek az alanyok jövőbeli viselkedését és eredményeit prognosztizálják. Például a Microsoft ilyen modelleket használ arra, hogy felmérje a játékosok képességeit online játékokban, bankok így ítélik meg hitelkérelmezők megbízhatóságát, és néhány vállalat automatizálni próbálta a nyitott pozíciókra benyújtott önéletrajzok ellenőrzését is. Ezekben a helyzetekben a fejlesztők az algoritmusokra támaszkodnak.
Ezeknek a munkáknak a többsége azonban nagyon keskeny területre összpontosít, és olyan intézkedésekre koncentrál, mint bizonyos modellek finomhangolása, az adathalmazok reprezentativitásának javítása és az adathalmazok „enyhítése”. Még ha ezek a lépések részben kezelhetik is a problémákat, egy alapvetően igazságos megközelítésnek a teljes képet kell szem előtt tartania, például megkérdőjelezhetetlen vagy intuitív feltételezések az adathalmazokban, aktuális és történelmi igazságtalanságok és hatalmi aszimetriák.
Ezeknek az eszközöknek a fejlesztői és a hatóságok, amelyek alkalmazzák őket, gyakran azt állítják, hogy a kockázatértékelések javítják az emberek döntéseit az adatok felhasználásával. De a kockázatértékelési eszközök (és az ezek létrehozásához felhasznált adatok) nem csak technikai rendszerek, amelyek izoláltan léteznek – természetszerűleg össze vannak kapcsolva azokkal a rendszerek politikájával, amelyekben alkalmazzák őket, és reprodukálhatják ezeknek a rendszereknek az elfogultságait. Kívánjuk közelebb hozni a kockázatértékelési eszközök koncepcióját és gyakorlati példákon keresztül bemutatni azok alkalmazását.
1. Szociális ellátási programok:
A kockázatértékelési eszközök egyik leggyakoribb alkalmazása a szociális segélyezésre való jogosultság megállapítása. Például a kormányok adatokat gyűjtenek a jövedelemről, a foglalkoztatási helyzetről és a család méretéről annak eldöntésére, hogy egy család jogosult-e élelmiszersegélyre vagy munkanélküli segélyre. Ezeknek az adatoknak az elemzésével kívánják biztosítani, hogy azok, akik valóban segítségre szorulnak, megkapják azt.
2. Egészségügyi szolgáltatások elosztása:
Az egészségügy területén a kormányok személyes egészségügyi adatokat és orvosi feljegyzéseket használnak az erőforrások hatékony elosztására. Ezt a stratégiát például a járvány idején is alkalmazták a célcsoportok azonosítására és őket előnyben részesítve történő oltásokra.
3. Büntető igazságszolgáltatás rendszere:
A kockázatértékelési eszközök helyet kaptak a büntető igazságszolgáltatás rendszerében is. Elemzik egy személy bűnügyi múltját és hátterét, hogy felbecsüljék a bűnismétlés kockázatát. Az eredmények befolyásolhatják a kaució mértékéről vagy a büntetés súlyosságáról szóló döntéseket, hogy egy igazságosabb és tudományosan megalapozott megközelítést érjenek el az igazságszolgáltatásban.
4. Oktatás:
Az oktatás területén az adatok döntő szerepet játszanak az erőforrások elosztásában és a demográfiai elemzésekben. Az oktatási rendszer az egyik legegyszerűbb hely az adatok gyűjtésére, mivel a legtöbb országban a beiskolázás kötelező. Az oktatási rendszerből a kormányok információkat nyernek a pénzügyekről, a családi háttérről, a lakóhelyről, valamint a mentális és fizikai egészségről.
5. Adózás:
Az adóbeszedés egy másik terület, ahol személyes pénzügyi adatok kerülnek szóba. A kormányok jövedelem- és vagyonadatokat használnak annak meghatározására, hogy mennyi ingatlanadót kell fizetnie egy személynek.
6. Közegészségügy:
A közegészségügy összefüggésében az adatgyűjtés különböző forrásokból, például mobilalkalmazásokból és hordozható eszközökből származik, és segíti a lakosság egészségének figyelemmel kísérését. Ezzel még a biztosítótársaságok is képesek előrejelzéseket és becsléseket készíteni egy személy egészségügyi kockázatairól és jövőbeli komplikációiról.
7. Lakhatási támogatás:
A kormányok személyes pénzügyi és lakhatási adatokat használják fel a lakhatási támogatási programokra való jogosultság megállapításához. Információk a jövedelemről, a család méretéről és a lakhatási körülményekről biztosítják, hogy azok, akik megfizethető lakást igényelnek, megkapják a szükséges támogatást.
8. Bevándorlás:
A bevándorlási hatóságok személyes adatokra támaszkodnak a vízumengedélyekről és a kiutasításokról szóló döntések meghozatalánál. Az utazási történet, a bűnügyi nyilvántartás és a foglalkoztatási helyzet mind szerepet játszanak a bevándorlási ügyekről szóló döntésekben.
9. Katasztrófavédelem:
Természeti katasztrófák esetén a kormányok adatokat gyűjtenek az érintett lakosságról, hogy hatékonyan vezényelhessék erőforrásaikat. Például a helyadatokkal azonosíthatók azok a területek, amelyek azonnali segítséget igényelnek, így gyorsabb lehet a katasztrófaelhárítás.
Miért fontos ez a PRVCY world számára?
Mert ezen adatok birtoklása néha arra csábítja a kormányokat, hogy kapzsivá váljanak és megpróbálják ellenőrizni személyes életünket, ahogyan azt a “plandémia” alatt is láthattuk.
Még ha a kockázatértékelési eszközök kétségtelenül ígéretesek is a jobb kormányzás szempontjából, a magánélet védelme, a méltányosság és az esetleges torzulások ezekben a rendszerekben folyamatosan jelen vannak. Az adatok közjóléti felhasználása és az egyének jogainak védelme közötti megfelelő egyensúly megtalálása állandó kihívás a világ kormányai számára, és nem teljesítenek különösen jól.
Az Egyesült Államokban a PATTERN rendszert arra használták, hogy döntsenek arról, vajon az elítélteket el kell-e engedni a börtönből otthoni elhelyezésre a COVID-19 járvány kitörésekor.
A PATTERN “kockázati értékeket” ad – lényegében számok, amelyek azt becsülik, mekkora a valószínűsége, hogy valakit szabadulása után újra letartóztatnak vagy börtönbe zárnak. Ezeket az értékeket küszöbértékek alapján kockázati kategóriákká alakítják. Például egy bizonyos érték alatti szám “alacsony kockázatnak” tekinthető, míg a felette lévők “magas kockázatnak” és így tovább.
A digitális PRVCY szakértők ezt a rendszert algoritmikus igazságtalanságnak nevezik.
A mesterséges intelligencia a gépi tanulási algoritmusokon alapul, amelyeket ugyan a technológiai ipar sokoldalú megoldásként magasztal, de gyengeségeik is vannak. Mint minden más számítógépes rendszer, ezek is hajlamosak a hibákra.
A kiberbiztonság területén például gépi tanulási algoritmusokat alkalmaznak, hogy gyorsan azonosítsák a korábban ismeretlen kártékony szoftvereket. Ez azonban dilemma elé állít: minél magasabb az észlelési arány, annál valószínűbb, hogy a rendszer egy nem kártékony fájlt tévesen károsként azonosít. Ez a gépi tanulás alapvető működéséből fakad, ahol a rendszer nem az objektum sajátosságait vizsgálja, hanem az ismert objektumok vizuális jellemzőivel hasonlítja össze azt.
Bizonyos esetekben a jóindulatú objektumok kártékony objektumokhoz igen hasonlóak lehetnek, és egy pontozáson alapuló rendszer nagy valószínűséggel kártékonyként osztályozná az objektumot. Egy olyan kontextusban, ahol az automatizált rendszerek az emberek viselkedését értékelik, a gépi tanulási rendszerek ezen sajátossága számos kellemetlen helyzethez vezethet, ahol egy ártatlan személy tévesen “rossz” cselekedetekhez kötődhet.
Más példákban a kormányok úgy használják az adatgyűjtést, amiről még nem is tudjuk, hogy mire.
2020-ban Costa Rica elnöksége jelentős zavarokba ütközött, amikor a szövetségi nyomozók átkutatták az elnök irodáit, és elbocsátottak négy kiemelkedő személyiséget, köztük az elnök mentorát és fő munkatársát. Ennek a felkavaró eseménynek a középpontjában egy adatmegosztó részleg állt, amely az előző 18 hónapban különféle kormányzati forrásokból szerzett be és elemzett személyes adatokat, állítólag a közpolitikák kialakításának elősegítése érdekében. A probléma az volt, hogy az elnök adatmegosztó részlegének nem volt jogalapja addig, amíg a kormány február 19-én el nem fogadott egy rendeletet, amely engedélyezte a részleg létrehozását, így lehetővé téve számára, hogy más kormányzati szervektől titkos személyes adatokat kérjen.
Hogyan biztosíthatjuk, hogy a kormányzati szervek és más döntéshozók számon kérhetők legyenek a kockázatértékelési eszközök által okozott potenciális kárért?
Ezek a rendszerek hajlamosak olyan problémákra, mint a fejlesztők részrehajlása, hibás korrelációk és visszacsatolási hurkok, és az algoritmusok nem veszik figyelembe az etikai szempontokat, hacsak a fejlesztő nem tervezi meg azokat kifejezetten. Ha egyszerűen hatalmas mennyiségű információt töltünk be egy gépi tanulási rendszerbe, majd kritikátlanul elfogadjuk az eredményt, az számos nem várt következményhez vezethet, beleértve azokat a döntéseket is, amelyek végső soron bizonyos polgárok jogait sértik.
Európában és Amerikában törvények vannak kidolgozás alatt, amelyek előírják a vállalatok számára, hogy érthető információkkal szolgáljanak az emberek számára arról, miért javult vagy romlott értékelésük (ECOA 1974, GDPR 2016) – így az automatizálás nem válik egy blackbox-tesztté (ahol a tesztelő tudja, mit kellene tennie a szoftvernek, de nem hogyan). Ez azonban nem történik meg minden olyan országban, amely fontolgatja egy társadalomértékelési rendszer bevezetését a jövőben, legalábbis a nyilvános forrásokból elérhető információk alapján. Ha ez igaz, az azt jelenti, hogy döntések sokasága teljes mértékben a mesterséges intelligencia kezébe kerülhet, ami problémát jelent.
Az a képességük, hogy megváltoztassák a rendszer működési szabályait, jelentősen befolyásolhatja azokat a társadalmi csoportokat, amelyek nem tudják befolyásolni az értékelési szabályokat. Ennek a változásnak az elősegítése érdekében létrehoztunk egy erőforrást Önnek, hogy bátran érdeklődjön, amikor a kormányzati szervek vagy fejlesztők állításokat tesznek a kockázatfelmérési eszközökről.
Ezen rendszerek többsége egy nyilvánosan hozzáférhető interfészre épül, amely hatalmas mennyiségű személyes adatot tartalmaz, beleértve az elkövetett “bűncselekményeket” is. Az ilyen típusú interfész hajlamosabb a szivárgásokra, és illegális hozzáférés esetén szörnyű következményekhez vezethet az érintett személyek számára. Nem szükséges feltörni sem. Az ilyen rendszereket használó intézmények gyakran biztosítanak API-kat, amelyek lehetővé teszik egy személy különböző szabálysértéseinek lekérdezését olyan információk megadásával, mint például telefonszám vagy útlevélszám.
Vajon alapvetően egyfajta disztópikus jövő alakul ki, ahol a döntéseket gépi tanulás alapján hozzák?
Még nem, de valószínűleg igen. Túl sok az ismeretlen tényező, és nem világos, hogy megvalósíthatók-e országos rendszerek olyan országokban, ahol ennyire különböző kormányzati formák és jogi keretek vannak.
Állampolgárokként fontos, hogy tájékozódjunk arról, hogyan használják adatainkat, és kiálljunk az átláthatóság és a méltányosság mellett ezekben a rendszerekben. Végső soron az adatok ereje nemcsak a gyűjtésükben rejlik, hanem a felelős és etikus felhasználásukban is.
Egy dolog azonban világos: mivel a technológia fékezés nélkül fejlődik, a digitális technológiák és a nagyobb társadalmi-politikai kérdések közötti határok csak tovább fognak elmosódni. Ezért az én #PRVCYTippekem:
