Diese Systeme, die oft als “Risikobewertungsinstrumente” bezeichnet werden, werden eingesetzt, um zu entscheiden, ob Angeklagte vor der Verhandlung freigelassen werden, ob Vorwürfen der Kindesvernachlässigung nachgegangen werden soll, um vorherzusagen, welche Schüler die Schule abbrechen könnten, und vieles mehr.
Maschinelles Lernen (ML) durchdringt zunehmend alle Lebensbereiche. Komplexe, kontextbezogene, sich ständig verändernde soziale und politische Herausforderungen werden automatisiert und als mathematische und technische Probleme verpackt. Gleichzeitig zeigt die Forschung über algorithmische Ungerechtigkeit, wie ML historische, oft ungerechte und diskriminierende Muster automatisiert und aufrechterhält. Die negativen Folgen algorithmischer Systeme, insbesondere für marginalisierte Bevölkerungsgruppen, haben die Arbeit zur algorithmischen Fairness vorangetrieben.
Viele der heute verwendeten Systeme basieren auf großen Mengen historischer Daten und Modellen des maschinellen Lernens, die das zukünftige Verhalten und die Erfolge der Systemteilnehmer vorhersagen. Microsoft beispielsweise verwendet solche Modelle, um die Fähigkeiten von Spielern in Online-Spielen zu bewerten, Banken beurteilen die Zuverlässigkeit potenzieller Kreditnehmer, wenn diese einen Kreditantrag stellen, und einige Unternehmen haben sogar versucht, die Überprüfung von Lebensläufen für offene Stellen zu automatisieren. In diesen Situationen vertrauen die Entwickler auf die Algorithmen.
Die meisten dieser Arbeiten sind jedoch sehr eng gefasst und konzentrieren sich auf die Feinabstimmung bestimmter Modelle, die Verbesserung der Repräsentativität von Datensätzen und die “Entschärfung” von Datensätzen. Auch wenn solche Maßnahmen einen Teil der Abhilfe darstellen können, muss ein grundlegend gerechter Weg das Gesamtbild betrachten, z. B. unhinterfragte oder intuitive Annahmen in Datensätzen, aktuelle und historische Ungerechtigkeiten und Machtasymmetrien.
Die Entwickler dieser Instrumente und die Behörden, die sie einsetzen, behaupten oft, dass Risikobewertungen die Entscheidungen der Menschen durch die Verwendung von Daten verbessern werden. Aber Risikobewertungsinstrumente (und die Daten, die zu ihrer Erstellung verwendet werden) sind nicht nur technische Systeme, die isoliert existieren – sie sind von Natur aus mit der Politik der Systeme, in denen sie eingesetzt werden, verwoben und können die Verzerrungen dieser Systeme reproduzieren. Wir wollen das Konzept der Risikobewertungsinstrumente näher beleuchten und Beispiele aus der Praxis für ihre Anwendung untersuchen.
1. Sozialfürsorge-Programme:
Eine der häufigsten Anwendungen von Risikobewertungsinstrumenten ist die Feststellung der Anspruchsberechtigung für Sozialhilfeprogramme. So erheben die Regierungen beispielsweise Daten über Einkommen, Beschäftigungsstatus und Familiengröße, um zu entscheiden, ob eine Familie Anspruch auf Nahrungsmittelhilfe oder Arbeitslosengeld hat. Durch die Analyse dieser Daten wollen sie sicherstellen, dass diejenigen, die wirklich Hilfe benötigen, diese auch erhalten.
2. Zuteilung von Gesundheitsleistungen:
Im Bereich des Gesundheitswesens nutzen Regierungen persönliche Krankenakten und Gesundheitsdaten, um Ressourcen effizient zu verteilen. Diese Strategie wurde zum Beispiel während der Pandemie eingesetzt, um die Zielgruppen zu identifizieren und sie vorrangig zu impfen.
3. Strafjustizsystem:
Risikobewertungsinstrumente haben auch Einzug in das Strafrechtssystem gehalten. Sie analysieren die kriminelle Vergangenheit und den Hintergrund einer Person, um das Risiko einer erneuten Straftat einzuschätzen. Die Ergebnisse können in Entscheidungen über die Höhe der Kaution oder das Strafmaß einfließen, um einen gerechteren und evidenzbasierten Ansatz in der Justiz zu erreichen.
4. Bildung:
Im Bereich der Bildung spielen Daten eine entscheidende Rolle bei der Ressourcenzuteilung und der demografischen Analyse. Das Bildungssystem ist einer der einfachsten Orte, um Daten zu sammeln, denn in den meisten Ländern ist der Schulbesuch Pflicht. Aus dem Bildungssystem gewinnen die Regierungen Informationen über die Finanzen, die Familienverhältnisse, den Wohnort sowie die geistige und körperliche Gesundheit.
5. Steuern:
Die Steuererhebung ist ein weiterer Bereich, in dem persönliche Finanzdaten ins Spiel kommen. Die Regierungen nutzen Daten über Einkommen und Eigentum, um die Höhe der Grundsteuer zu bestimmen, die eine Person schuldet.
6. Öffentliche Gesundheit:
Im Kontext der öffentlichen Gesundheit helfen Daten, die aus verschiedenen Quellen wie mobilen Apps und tragbaren Geräten gesammelt werden, bei der Überwachung der Gesundheit der Bevölkerung. Damit können sogar Versicherungsunternehmen Vorhersagen und Schätzungen über Risiken und künftige Komplikationen für die Gesundheit einer Person treffen.
7. Wohngeld:
Die Regierungen verwenden persönliche Finanz- und Wohnungsdaten, um die Berechtigung für Wohngeldprogramme zu bestimmen. Informationen über Einkommen, Familiengröße und Wohnverhältnisse stellen sicher, dass diejenigen, die eine bezahlbare Wohnung benötigen, die nötige Unterstützung erhalten.
8. Einwanderung:
Die Einwanderungsbehörden stützen sich auf personenbezogene Daten, um Entscheidungen über Visabewilligungen und Abschiebungen zu treffen. Faktoren wie die Reisegeschichte, das Strafregister und der Beschäftigungsstatus werden bei Entscheidungen in Einwanderungsangelegenheiten berücksichtigt.
9. Katastrophenschutz:
Bei Naturkatastrophen sammeln die Regierungen Daten über die betroffene Bevölkerung, um ihre Ressourcen effektiv einzusetzen. Standortdaten werden zum Beispiel verwendet, um Gebiete zu identifizieren, die sofortige Hilfe benötigen, und helfen so bei der raschen Katastrophenhilfe.
Warum ist das für die PRVCY world wichtig?
Denn der Besitz all dieser Daten verleitet Regierungen manchmal dazu, gierig zu werden und zu versuchen, unser persönliches Leben zu kontrollieren, wie wir es während der Plandemie gesehen haben.
Auch wenn Risikobewertungsinstrumente zweifellos vielversprechend für eine bessere Regierungsführung sind, sind Datenschutz, Fairness und mögliche Verzerrungen in diesen Systemen allgegenwärtig. Das richtige Gleichgewicht zwischen der Nutzung von Daten zum Wohle der Allgemeinheit und dem Schutz der Rechte des Einzelnen zu finden, ist eine ständige Herausforderung für die Regierungen auf der ganzen Welt, und sie machen ihre Sache nicht besonders gut.
In den Vereinigten Staaten wurde PATTERN verwendet, um Entscheidungen darüber zu treffen, ob inhaftierte Personen bei Ausbruch der COVID-19-Pandemie aus dem Gefängnis entlassen und zu Hause untergebracht werden sollten.
PATTERN gibt “Risikowerte” aus – im Wesentlichen Zahlen, die abschätzen, wie wahrscheinlich es ist, dass eine Person nach ihrer Entlassung wieder verhaftet oder inhaftiert wird. Anhand von Schwellenwerten werden diese Werte dann in Risikokategorien umgewandelt. So kann zum Beispiel ein Wert unter einem bestimmten Wert als “geringes Risiko” gelten, während Werte bei oder über diesem Wert als “hohes Risiko” eingestuft werden und so weiter.
Digitale PRVCY-Experten bezeichnen dieses System als algorithmische Ungerechtigkeit.
KI basiert auf Algorithmen des maschinellen Lernens, die zwar in der Tech-Branche als vielseitige Lösung gelobt werden, aber auch ihre Schwächen haben. Wie jedes andere Computersystem sind sie anfällig für Fehler.
Im Bereich der Cybersicherheit zum Beispiel werden maschinelle Lernalgorithmen eingesetzt, um bisher unbekannte Schadsoftware schnell zu identifizieren. Dabei entsteht jedoch ein Dilemma: Je höher die Erkennungsrate ist, desto wahrscheinlicher ist es, dass das System eine nicht bösartige Datei fälschlicherweise als bösartig einstuft. Das liegt an der grundlegenden Funktionsweise des maschinellen Lernens, bei dem das System nicht die Besonderheiten eines Objekts untersucht, sondern seine visuellen Merkmale mit denen bekannter Objekte vergleicht.
In bestimmten Szenarien können gutartige Objekte bösartigen Objekten sehr ähnlich sehen, und ein auf Scoring basierendes System würde das Objekt wahrscheinlich als bösartig klassifizieren. In einem Kontext, in dem automatisierte Systeme das Verhalten von Menschen bewerten, kann dieser besondere Aspekt von maschinellen Lernsystemen zu zahlreichen unangenehmen Situationen führen, in denen eine unschuldige Person fälschlicherweise in “falsche” Handlungen verwickelt wird.
In anderen Beispielen nutzen Regierungen die Datenerfassung auf eine Weise, von der wir nicht einmal wissen, wozu.
Im Jahr 2020 geriet die Präsidentschaft Costa Ricas in erhebliche Turbulenzen, als Bundesermittler Durchsuchungen in den Büros des Präsidenten durchführten und vier prominente Persönlichkeiten, darunter der Mentor und Hauptmitarbeiter des Präsidenten, entlassen wurden. Im Mittelpunkt dieses Aufruhrs stand eine in den Exekutivbüros eingerichtete Abteilung für Datenanalyse, die in den vorangegangenen 18 Monaten private personenbezogene Daten aus verschiedenen staatlichen Quellen gesammelt und ausgewertet hatte, um angeblich bei der Gestaltung der öffentlichen Politik zu helfen. Der springende Punkt war die Tatsache, dass die Abteilung für Datenanalyse des Präsidenten über keine Rechtsgrundlage verfügte, bis die Regierung am 19. Februar ein Dekret erließ, das ihre Einrichtung genehmigte und ihr die Befugnis erteilte, vertrauliche persönliche Daten von anderen Regierungsstellen anzufordern.
Wie können wir sicherstellen, dass Regierungsbehörden und andere Entscheidungsträger für den potenziellen Schaden, den Risikobewertungsinstrumente verursachen können, zur Verantwortung gezogen werden?
Diese Systeme sind anfällig für Probleme wie Voreingenommenheit der Entwickler, falsche Korrelationen und Rückkopplungsschleifen, und die Algorithmen berücksichtigen keine ethischen Erwägungen, es sei denn, der Entwickler hat sie ausdrücklich vorgesehen. Wenn man einfach riesige Mengen an Informationen in ein maschinelles Lernsystem eingibt und das Ergebnis dann ohne kritische Prüfung akzeptiert, kann das zu einer Vielzahl unbeabsichtigter Folgen führen, einschließlich Entscheidungen, die letztlich die Rechte bestimmter Bürgerinnen und Bürger verletzen.
In Europa und Amerika werden derzeit Gesetze entwickelt, die Unternehmen dazu verpflichten, den Menschen verständliche Informationen darüber zu geben, warum sich ihre Bewertung verschlechtert oder erhöht hat (ECOA 1974, GDPR 2016) – damit die Automatisierung nicht zu einem Blackbox-Test wird (der Tester weiß, was die Software tun soll, aber nicht wie). Das Gleiche geschieht jedoch nicht in allen anderen Ländern, die die Einführung eines sozialen Bewertungssystems in der Zukunft in Erwägung ziehen, zumindest basierend auf den Informationen, die wir in öffentlichen Quellen finden konnten. Wenn das stimmt, bedeutet das, dass eine Vielzahl von Entscheidungen vollständig in die Hände der KI gelegt werden kann, was ein Problem darstellt.
Ihre Fähigkeit, die Regeln für die Funktionsweise des Systems zu ändern, kann das Leben derjenigen gesellschaftlichen Gruppen erheblich beeinflussen, die nicht in der Lage sind, die Bewertungsregeln zu beeinflussen. Um diesen Wandel voranzutreiben, haben wir eine Ressource für Sie geschaffen, damit Sie sich befähigt fühlen, nachzufragen, wenn Regierungsbehörden oder Entwickler Behauptungen über Risikobewertungsinstrumente aufstellen
Die meisten dieser Systeme basieren auf einer öffentlich zugänglichen Schnittstelle, die riesige Mengen personenbezogener Daten, einschließlich aller begangenen “Straftaten”, enthält. Diese Art von Schnittstelle ist anfälliger für undichte Stellen und kann bei illegalem Zugriff zu schrecklichen Konsequenzen für die angegriffenen Personen führen. Sie muss auch nicht gehackt werden. Einrichtungen, die solche Systeme verwenden, stellen oft APIs zur Verfügung, die es ermöglichen, die verschiedenen Verstöße einer Person durch Eingabe von Informationen wie ihrer Telefonnummer oder Passnummer abzurufen.
Wird sich unsere Realität insgesamt zu einer Art dystopischer Zukunft entwickeln, die auf maschinellem Lernen basiert, um Entscheidungen zu treffen?
Noch nicht, aber wahrscheinlich ja. Es gibt noch viel zu viele Unbekannte, und es ist unklar, ob landesweite Systeme in Ländern mit so unterschiedlichen Regierungsformen und gesetzlichen Rahmenbedingungen tatsächlich umgesetzt werden können.
Als Bürgerinnen und Bürger ist es wichtig, darüber informiert zu sein, wie unsere Daten genutzt werden, und sich für Transparenz und Fairness in diesen Systemen einzusetzen. Letztendlich liegt die Macht der Daten nicht nur in ihrer Sammlung, sondern auch in ihrer verantwortungsvollen und ethischen Nutzung.
Eines ist jedoch klar: Da sich die Technologie ungebremst weiterentwickelt, werden die Grenzen zwischen digitaler Technologie und größeren sozialen und politischen Themen nur noch mehr verschwimmen. Deshalb lautet mein #PRVCYTipps:
