Ces systèmes, souvent appelés « instruments d’évaluation des risques », sont utilisés pour décider si les accusés doivent être libérés avant le procès, si les allégations de négligence envers les enfants doivent être poursuivies, pour prédire quels élèves pourraient abandonner l’école, et bien d’autres choses.
L’apprentissage automatique (ML) pénètre de plus en plus dans tous les domaines de la vie. Les défis sociaux et politiques complexes, contextuels et en constante évolution sont automatisés et transformés en problèmes mathématiques et techniques. Parallèlement, la recherche sur l’injustice algorithmique montre comment le ML automatise et perpétue des modèles historiques souvent injustes et discriminatoires. Les conséquences négatives des systèmes algorithmiques, en particulier pour les populations marginalisées, ont fait progresser le travail sur l’équité algorithmique.
De nombreux systèmes utilisés aujourd’hui reposent sur de grandes quantités de données historiques et de modèles d’apprentissage automatique qui prédisent le comportement futur et le succès des participants au système. Microsoft, par exemple, utilise de tels modèles pour évaluer les capacités des joueurs dans les jeux en ligne; les banques évaluent la fiabilité des candidats emprunteurs lorsqu’ils demandent un crédit, et certaines entreprises ont même tenté d’automatiser la vérification des CV pour des postes à pourvoir. Dans ces situations, les développeurs font confiance aux algorithmes.
La plupart de ces travaux sont toutefois très étroits et se concentrent sur l’affinage de certains modèles, l’amélioration de la représentativité des ensembles de données et “l’atténuation” des biais dans les ensembles de données. Bien que ces mesures puissent apporter une certaine solution, un chemin fondamentalement juste doit considérer l’ensemble de la problématique, par exemple, les hypothèses non remises en question ou intuitives dans les ensembles de données, les injustices actuelles et historiques ainsi que les asymétries de pouvoir.
Les développeurs de ces instruments et les autorités qui les utilisent prétendent souvent que les évaluations des risques amélioreront les décisions des gens en utilisant les données. Cependant, les instruments d’évaluation des risques (et les données utilisées pour leur création) ne sont pas uniquement des systèmes techniques existant isolément – ils sont intrinsèquement liés à la politique des systèmes dans lesquels ils sont utilisés et peuvent reproduire les biais de ces systèmes. Nous souhaitons approfondir le concept des instruments d’évaluation des risques et examiner des exemples pratiques de leur application.
1. Programmes de protection sociale :
L’une des applications les plus courantes des instruments d’évaluation des risques est de déterminer l’éligibilité aux programmes de protection sociale. Par exemple, les gouvernements collectent des données sur les revenus, le statut d’emploi et la taille de la famille pour décider si une famille a droit à une aide alimentaire ou à des prestations de chômage. En analysant ces données, ils souhaitent s’assurer que ceux qui ont vraiment besoin d’aide la reçoivent.
2. Attribution des prestations de santé :
Dans le domaine de la santé, les gouvernements utilisent les dossiers médicaux personnels et les données de santé pour allouer les ressources efficacement. Cette stratégie a été utilisée par exemple pendant la pandémie pour identifier les groupes cibles et les vacciner en priorité.
3. Système de justice pénale :
Les instruments d’évaluation des risques ont également été intégrés dans le système de justice pénale. Ils analysent les antécédents criminels et le contexte d’une personne pour évaluer le risque de récidive. Les résultats peuvent influencer les décisions concernant le montant de la caution ou la peine, afin d’atteindre une approche juste et fondée sur des preuves dans la justice.
4. Éducation :
Dans le domaine de l’éducation, les données jouent un rôle crucial dans l’allocation des ressources et l’analyse démographique. Le système éducatif est l’un des endroits les plus faciles pour collecter des données, car dans la plupart des pays, la scolarité est obligatoire. Grâce au système éducatif, les gouvernements obtiennent des informations sur les finances, la famille, le lieu de résidence ainsi que la santé mentale et physique.
5. Taxes :
La collecte des impôts est un autre domaine où les données financières personnelles entrent en jeu. Les gouvernements utilisent des données sur les revenus et la propriété pour déterminer le montant de l’impôt foncier qu’une personne doit payer.
6. Santé publique :
Dans le contexte de la santé publique, les données collectées à partir de diverses sources telles que les applications mobiles et les dispositifs portables aident à surveiller la santé de la population. Elles permettent même aux compagnies d’assurance de faire des prévisions et des estimations sur les risques et les complications futures pour la santé d’une personne.
7. Aides au logement :
Les gouvernements utilisent des données personnelles financières et de logement pour déterminer l’éligibilité aux programmes d’aide au logement. Les informations sur les revenus, la taille de la famille et les conditions de logement garantissent que ceux qui ont besoin d’un logement abordable reçoivent le soutien nécessaire.
8. Immigration :
Les autorités de l’immigration s’appuient sur des données personnelles pour prendre des décisions concernant l’approbation des visas et les expulsions. Des facteurs tels que l’historique des voyages, le casier judiciaire et le statut d’emploi sont pris en compte dans les décisions relatives à l’immigration.
9. Protection contre les catastrophes :
En cas de catastrophes naturelles, les gouvernements collectent des données sur la population affectée pour déployer efficacement leurs ressources. Des données de localisation, par exemple, sont utilisées pour identifier les zones nécessitant une aide immédiate, facilitant ainsi une intervention rapide.
Pourquoi est-ce important pour le monde PRVCY ?
Car la possession de toutes ces données incite parfois les gouvernements à devenir gourmands et à tenter de contrôler nos vies personnelles, comme nous l’avons vu pendant la plan-démie.
Même si les outils d’évaluation des risques sont sans aucun doute prometteurs pour une meilleure gouvernance, la protection de la vie privée, l’équité et les biais potentiels dans ces systèmes sont omniprésents. Trouver le juste équilibre entre l’utilisation des données pour le bien commun et la protection des droits des individus est un défi constant pour les gouvernements du monde entier, et ils ne s’en acquittent pas très bien.
Aux États-Unis, PATTERN a été utilisé pour décider si les personnes incarcérées devaient être libérées et placées en confinement à domicile lors de l’éruption de la pandémie de COVID-19.
PATTERN attribue des “scores de risque” – essentiellement des chiffres qui estiment la probabilité qu’une personne soit de nouveau arrêtée ou incarcérée après sa libération. Ces scores sont ensuite convertis en catégories de risque selon des seuils prédéfinis. Par exemple, un score inférieur à une certaine valeur peut être considéré comme “faible risque”, tandis que des scores égaux ou supérieurs peuvent être classés comme “haut risque” et ainsi de suite.
Les experts en PRVCY numérique qualifient ce système d’injustice algorithmique.
L’IA repose sur des algorithmes d’apprentissage automatique, qui, bien qu’encensés dans le secteur technologique comme solution polyvalente, présentent également des faiblesses. Comme tout autre système informatique, ils sont sujets à des erreurs.
Dans le domaine de la cybersécurité, par exemple, des algorithmes d’apprentissage automatique sont utilisés pour identifier rapidement les logiciels malveillants inconnus. Cependant, un dilemme survient : plus le taux de détection est élevé, plus le système est susceptible de classer par erreur un fichier non malveillant comme malveillant. Cela est dû au fonctionnement fondamental de l’apprentissage automatique, où le système compare les caractéristiques visuelles d’un objet avec celles d’objets connus plutôt que d’étudier ses spécificités.
Dans certains scénarios, des objets inoffensifs peuvent sembler très similaires à des objets malveillants, et un système basé sur le scoring classera probablement l’objet comme malveillant. Dans un contexte où des systèmes automatisés évaluent le comportement humain, cet aspect spécifique des systèmes d’apprentissage automatique peut conduire à de nombreuses situations désagréables où une personne innocente est faussement impliquée dans des “actions” incorrectes.
Dans d’autres exemples, les gouvernements exploitent la collecte de données de manière dont nous ignorons même l’usage.
En 2020, la présidence du Costa Rica a connu de sérieuses turbulences lorsque des enquêteurs fédéraux ont perquisitionné les bureaux du président et ont licencié quatre personnalités éminentes, dont le mentor et principal collaborateur du président. Au cœur de cette agitation se trouvait un département d’analyse de données installé dans les bureaux exécutifs, qui, au cours des 18 mois précédents, avait collecté et analysé des données personnelles privées provenant de diverses sources gouvernementales afin d’aider prétendument à l’élaboration de politiques publiques. Le point crucial était que le département d’analyse de données du président ne disposait d’aucune base légale jusqu’à ce que le gouvernement publie le 19 février un décret autorisant sa création et lui conférant le pouvoir de demander des données personnelles confidentielles à d’autres agences gouvernementales.
Comment pouvons-nous garantir que les agences gouvernementales et autres décideurs soient tenus responsables des dommages potentiels que les outils d’évaluation des risques peuvent causer ?
Ces systèmes sont sujets à des problèmes tels que les biais des développeurs, les corrélations incorrectes et les boucles de rétroaction, et les algorithmes ne prennent pas en compte les considérations éthiques, sauf si le développeur les a explicitement prévues. Introduire simplement des quantités massives d’informations dans un système d’apprentissage automatique et accepter son résultat sans examen critique peut entraîner une multitude de conséquences imprévues, y compris des décisions qui finissent par violer les droits de certains citoyens.
En Europe et en Amérique, des lois sont actuellement en cours d’élaboration pour obliger les entreprises à fournir aux gens des informations compréhensibles sur les raisons pour lesquelles leur évaluation a diminué ou augmenté (ECOA 1974, RGPD 2016) – afin que l’automatisation ne devienne pas un test de boîte noire (où le testeur sait ce que le logiciel est censé faire, mais pas comment). Cependant, la même chose ne se passe pas dans tous les autres pays qui envisagent l’introduction d’un système de notation sociale à l’avenir, du moins d’après les informations que nous avons pu trouver dans les sources publiques. Si cela est vrai, cela signifie qu’une multitude de décisions pourraient être entièrement confiées à l’IA, ce qui constitue un problème.
Votre capacité à modifier les règles du fonctionnement du système peut avoir un impact considérable sur la vie des groupes sociaux qui ne peuvent pas influencer les règles d’évaluation. Pour favoriser ce changement, nous avons créé une ressource pour vous permettre de poser des questions lorsque les organismes gouvernementaux ou les développeurs font des affirmations sur les outils d’évaluation des risques.
La plupart de ces systèmes reposent sur une interface publique qui contient d’énormes quantités de données personnelles, y compris toutes les “infractions” commises. Ce type d’interface est plus susceptible de fuites et, en cas d’accès illégal, peut entraîner des conséquences terribles pour les personnes visées. Elle n’a même pas besoin d’être piratée. Les établissements qui utilisent de tels systèmes fournissent souvent des API permettant de récupérer les différentes infractions d’une personne en saisissant des informations telles que son numéro de téléphone ou son numéro de passeport.
Notre réalité va-t-elle se transformer en une sorte de futur dystopique basé sur l’apprentissage machine pour prendre des décisions ?
Pas encore, mais probablement oui. Il reste encore trop d’inconnues, et il n’est pas clair si des systèmes nationaux peuvent réellement être mis en œuvre dans des pays avec des formes de gouvernement et des cadres juridiques aussi diversifiés.
En tant que citoyennes et citoyens, il est important d’être informé de l’utilisation de nos données et de défendre la transparence et l’équité dans ces systèmes. En fin de compte, le pouvoir des données ne réside pas seulement dans leur collecte, mais aussi dans leur utilisation responsable et éthique.
Une chose est cependant claire : à mesure que la technologie continue d’évoluer sans relâche, les frontières entre la technologie numérique et les grands enjeux sociaux et politiques ne feront que s’estomper. C’est pourquoi mon #ConseilsPRVCY :
