Dessa system, som ofta kallas “riskbedömningsverktyg“, används för att besluta om åtalade ska släppas före rättegången, om anklagelser om försummelse av barn ska undersökas, för att förutsäga vilka elever som riskerar att hoppa av skolan och mycket mer.
Maskininlärning (ML) tränger alltmer in i alla livets områden. Komplexa, kontextualiserade och ständigt föränderliga sociala och politiska utmaningar automatiseras och omformas till matematiska och tekniska problem. Samtidigt visar forskning om algoritmisk orättvisa hur ML automatiserar och upprätthåller historiska, ofta orättvisa och diskriminerande mönster. De negativa konsekvenserna av algoritmiska system, särskilt för marginaliserade grupper, har drivit arbetet för algoritmisk rättvisa framåt.
Många av de system som används idag baseras på stora mängder historiska data och maskininlärningsmodeller som förutsäger framtida beteende och framgång för systemdeltagarna. Microsoft använder till exempel sådana modeller för att bedöma spelarnas färdigheter i onlinespel, banker bedömer pålitligheten hos potentiella låntagare när de ansöker om lån och vissa företag har till och med försökt automatisera granskningen av livserfaranden för lediga tjänster. I dessa situationer förlitar sig utvecklarna på algoritmerna.
De flesta av dessa insatser är dock mycket snävade och fokuserar på att finjustera specifika modeller, förbättra representativiteten i dataset och “lätta upp” dataset. Även om sådana åtgärder kan utgöra en del av lösningen måste en grundläggande rättvis väg överväga helhetsbilden, såsom otröstade eller intuitiva antaganden i dataset, nuvarande och historiska orättvisor och maktasymmetrier.
Utvecklarna av dessa verktyg och myndigheterna som använder dem hävdar ofta att riskbedömningar kommer att förbättra människors beslut genom användning av data. Men riskbedömningsverktyg (och de data som används för att skapa dem) är inte bara tekniska system som existerar i isolering – de är av naturen sammanflätade med de politiska systemen där de används och kan reproducera bias av dessa system. Vi vill belysa begreppet riskbedömningsverktyg närmare och undersöka praktiska exempel på deras tillämpning.
1. Socialvårdsprogram:
En av de vanligaste användningarna av riskbedömningsverktyg är att fastställa berättigandet till socialbidragsprogram. Regeringar samlar till exempel in data om inkomst, anställningsstatus och familjestorlek för att avgöra om en familj har rätt till matbidrag eller arbetslöshetsersättning. Genom att analysera dessa data vill de se till att de som verkligen behöver hjälp får den.
2. Tilldelning av sjukvårdstjänster:
Inom vården använder regeringar personliga sjukjournaler och hälsodata för att effektivt fördela resurser. Denna strategi användes till exempel under pandemin för att identifiera målgrupper och prioritera deras vaccinering.
3. Straffrättsligt system:
Riskbedömningsverktyg har också blivit integrerade i straffrättssystemet. De analyserar en persons kriminella bakgrund och tidigare handlingar för att bedöma risken för återfall i brott. Resultaten kan påverka beslut om borgen eller straffsatser för att uppnå en rättvis och evidensbaserad strategi inom rättsväsendet.
4. Utbildning:
Inom utbildningsområdet spelar data en avgörande roll vid resursfördelning och demografisk analys. Utbildningssystemet är en av de enklaste platserna att samla in data eftersom skolgång är obligatorisk i de flesta länder. Från utbildningssystemet får regeringar information om finansiering, familjeförhållanden, bostadsort samt mental och fysisk hälsa.
5. Skatter:
Skatteuppbörd är ytterligare ett område där personliga ekonomiska data spelar en roll. Regeringar använder data om inkomst och egendom för att bestämma nivån på fastighetsskatt som en person är skyldig.
6. Folkhälsa:
I sammanhanget folkhälsa hjälper data från olika källor som mobilappar och bärbara enheter till i övervakningen av befolkningens hälsa. Till och med försäkringsbolag kan göra prognoser och uppskattningar om risker och framtida komplikationer för en persons hälsa.
7. Bostadsbidrag:
Regeringar använder personliga ekonomiska och bostadsdata för att fastställa berättigande till bostadsstödsprogram. Information om inkomst, familjestorlek och boendeförhållanden säkerställer att de som behöver överkomliga bostäder får det stöd de behöver.
8. Migration:
Migrationsmyndigheter förlitar sig på personuppgifter för att fatta beslut om visumgodkännanden och utvisningar. Faktorer som resehistorik, brottsregister och anställningsstatus beaktas vid beslut om migrationsärenden.
9. Katastrofhantering:
Vid naturkatastrofer samlar regeringarna in data om den drabbade befolkningen för att effektivt kunna använda sina resurser. Platsdata används exempelvis för att identifiera områden som behöver omedelbar hjälp, vilket bidrar till snabb katastrofhjälp.
Varför är detta viktigt för PRVCY-världen?
För att äga alla dessa data frestar ibland regeringar att bli giriga och försöka kontrollera våra personliga liv, som vi såg under plandemin.
Även om riskbedömningsverktyg utan tvekan lovar bättre styrning, är integritetsfrågor, rättvisa och möjliga snedvridningar i dessa system allestädes närvarande. Att hitta rätt balans mellan att använda data till allmänhetens nytta och skydda individens rättigheter är en ständigt närvarande utmaning för regeringar världen över, och de gör inte sitt jobb särskilt väl.
I USA har PATTERN använts för att fatta beslut om huruvida fängslade personer skulle friges och föras hem under COVID-19-pandemins utbrott.
PATTERN ger “riskvärden” – i huvudsak siffror som uppskattar hur sannolikt det är att en person åter arresteras eller fängslas efter frigivning. Dessa värden omvandlas till riskkategorier baserade på tröskelvärden. Till exempel kan ett värde under ett visst tröskelvärde anses vara “lågrisk”, medan värden vid eller över detta värde klassas som “högrisk”, och så vidare.
Digitala PRVCY-experter kallar detta system för algoritmisk orättvisa.
AI baseras på maskininlärningsalgoritmer, som även om de hyllas som en mångsidig lösning i tekniksektorn, också har sina brister. Precis som alla andra datorsystem är de mottagliga för fel.
Inom cybersäkerhet används till exempel maskininlärningsalgoritmer för att snabbt identifiera tidigare okänd skadlig kod. Detta skapar dock ett dilemma: Ju högre upptäcktsfrekvens, desto mer sannolikt är det att systemet felaktigt klassificerar en icke-skadlig fil som skadlig. Detta beror på den grundläggande funktionsprincipen för maskininlärning, där systemet inte undersöker ett objekts särdrag, utan jämför dess visuella egenskaper med kända objekt.
I vissa scenarier kan godartade objekt se mycket ut som skadliga objekt, och ett poängbaserat system skulle troligen klassificera objektet som skadligt. I ett sammanhang där automatiserade system bedömer människors beteende, kan denna speciella aspekt av maskininlärningssystem leda till många obekväma situationer där en oskyldig person felaktigt dras in i “felaktiga” handlingar.
I andra exempel använder regeringar datainsamling på sätt vi inte ens känner till.
År 2020 hamnade Costa Ricas presidentskap i betydande turbulens när federala utredare genomförde razzior i presidentens kontor och fyra framstående personer, inklusive presidentens mentor och huvudmedarbetare, avskedades. I centrum för denna oro fanns en avdelning för dataanalys som inrättats i de verkställande kontoren, som under de senaste 18 månaderna hade samlat in och analyserat privata personuppgifter från olika statliga källor, påstås för att hjälpa till med offentlig politik. Problematiskt var att presidentens dataanalysavdelning saknade rättslig grund tills regeringen den 19 februari utfärdade ett dekret som godkände dess inrättande och gav den befogenhet att begära konfidentiella data från andra statliga organ.
Hur kan vi säkerställa att regeringsmyndigheter och andra beslutsfattare hålls ansvariga för den potentiella skadan som riskvärderingsverktyg kan orsaka?
Dessa system är känsliga för problem som utvecklarens fördomar, felaktiga korrelationer och återkopplingsslingor, och algoritmerna tar inte hänsyn till etiska överväganden om inte utvecklaren uttryckligen har infört dem. Genom att helt enkelt mata in stora mängder information i ett maskininlärningssystem och sedan acceptera resultatet utan kritisk granskning kan det leda till en mängd oavsiktliga konsekvenser, inklusive beslut som i slutändan kränker specifika medborgares rättigheter.
I Europa och Amerika utvecklas nu lagar som tvingar företag att ge människor begriplig information om varför deras betyg försämrats eller förbättrats (ECOA 1974, GDPR 2016) – så att automationen inte blir ett svart låda-test (testaren vet vad programvaran ska göra, men inte hur). Detsamma sker dock inte i alla andra länder som överväger att implementera ett system för social värdering i framtiden, åtminstone baserat på den information vi kunde hitta i offentliga källor. Om detta stämmer, innebär det att en mängd beslut kan helt och hållet överlåtas till AI, vilket är ett problem.
Din förmåga att ändra reglerna för hur systemet fungerar kan avsevärt påverka livet för de samhällsgrupper som inte kan påverka utvärderingsreglerna. För att driva denna förändring framåt har vi skapat en resurs för dig, så att du känner dig stärkt att fråga när myndigheter eller utvecklare gör anspråk på riskbedömningsverktyg.
De flesta av dessa system är baserade på ett offentligt tillgängligt gränssnitt som innehåller stora mängder personuppgifter, inklusive alla begångna “brott”. Denna typ av gränssnitt är mer sårbar för läckor och kan, vid olaglig åtkomst, leda till fruktansvärda konsekvenser för de drabbade personerna. Det behöver inte heller hackas. Institutioner som använder sådana system tillhandahåller ofta API:er som möjliggör hämtning av en persons olika överträdelser genom att ange information som deras telefonnummer eller passnummer.
Kommer vår verklighet som helhet att utvecklas till en slags dystopisk framtid som bygger på maskininlärning för att fatta beslut?
Inte ännu, men sannolikt ja. Det finns fortfarande för många okända faktorer, och det är oklart om nationella system i länder med så olika regeringsformer och juridiska ramar faktiskt kan genomföras.
Som medborgare är det viktigt att vara informerad om hur våra uppgifter används och verka för transparens och rättvisa i dessa system. I slutändan ligger makten med data inte bara i deras insamling, utan även i deras ansvarsfulla och etiska användning.
En sak är dock tydlig: eftersom tekniken fortsätter att utvecklas obehindrat kommer gränserna mellan digital teknik och större sociala och politiska frågor att suddas ut ännu mer. Därför är mitt #PRVCYTips:
