Эти системы, часто называемые “инструментами оценки рисков“, используются для принятия решений о том, освобождать ли обвиняемых до суда, расследовать ли обвинения в неисполнении родительских обязанностей, чтобы предсказать, какие студенты могут бросить учёбу, и многое другое.
Машинное обучение (ML) всё больше проникает во все сферы жизни. Сложные, контекстно-зависимые, постоянно меняющиеся социальные и политические вызовы автоматизируются и превращаются в математические и технико-экспертные задачи. В то же время исследования алгоритмической несправедливости показывают, как ML автоматизирует и поддерживает исторические, часто несправедливые и дискриминирующие модели. Негативные последствия алгоритмических систем, особенно для маргинализированных групп населения, способствовали развитию работы по алгоритмической справедливости.
Многие из систем, используемых сегодня, основаны на большом объёме исторических данных и моделях машинного обучения, которые предсказывают будущие поведения и успехи участников системы. Например, Microsoft использует такие модели для оценки способностей игроков в онлайн-играх, банки оценивают надёжность потенциальных заёмщиков при подаче заявки на кредит, а некоторые компании даже пытались автоматизировать проверку резюме для открытых вакансий. В этих ситуациях разработчики полагаются на алгоритмы.
Тем не менее, большинство этих работ очень узко направлены и сосредоточены на точной настройке определённых моделей, улучшении репрезентативности наборов данных и “ослаблении” наборов данных. Хотя такие меры могут частично помочь, справедливый путь должен рассматривать общую картину, например, непроверенные или интуитивные предположения в наборах данных, современные и исторические несправедливости и асимметрию власти.
Разработчики этих инструментов и власти, которые их применяют, часто утверждают, что оценки рисков улучшают решения людей благодаря использованию данных. Но инструменты оценки рисков (и данные, используемые для их создания) — это не просто технические системы, существующие изолированно — они по своей природе сплетены с политикой систем, в которых они используются, и могут воспроизводить предвзятости этих систем. Мы хотим более подробно обсудить концепцию инструментов оценки рисков и проанализировать примеры их применения на практике.
1. Программы социальной помощи:
Одно из самых распространённых применений инструментов оценки рисков — определение права на получение социальной помощи. Например, государство собирает данные о доходах, занятости и размере семьи, чтобы решить, имеет ли семья право на получение продовольственной помощи или пособий по безработице. Анализируя эти данные, они стремятся убедиться, что помощь получают те, кто действительно в ней нуждается.
2. Распределение медицинских услуг:
В области здравоохранения правительства используют личные медицинские записи и данные о здоровье для эффективного распределения ресурсов. Такая стратегия применялась, например, во время пандемии для определения приоритетов вакцинации.
3. Система уголовного правосудия:
Инструменты оценки рисков также вошли в уголовное правосудие. Они анализируют криминальное прошлое и биографию человека, чтобы оценить риск повторного правонарушения. Результаты могут быть учтены при принятии решений о залоге или наказании, чтобы обеспечить более справедливый и основанный на доказательствах подход к правосудию.
4. Образование:
В области образования данные играют ключевую роль в распределении ресурсов и демографическом анализе. Образовательная система — одно из самых простых мест для сбора данных, поскольку в большинстве стран школьное обучение является обязательным. Из образовательной системы правительства получают информацию о финансах, семейных обстоятельствах, месте проживания, а также о психическом и физическом здоровье.
5. Налоги:
Налогообложение — еще одна область, где играют роль личные финансовые данные. Правительства используют данные о доходах и собственности для определения суммы налога на имущество, которую должна уплатить физическая особа.
6. Общественное здравоохранение:
В контексте общественного здравоохранения данные, собранные из различных источников, таких как мобильные приложения и носимые устройства, помогают отслеживать здоровье населения. Это позволяет страховым компаниям прогнозировать и оценивать риски и будущие осложнения для здоровья человека.
7. Жилищные субсидии:
Правительства используют личные финансовые и жилищные данные для определения права на жилищные субсидии. Информация о доходах, размере семьи и жилищных условиях обеспечивает поддержку тем, кто нуждается в доступном жилье.
8. Иммиграция:
Иммиграционные службы полагаются на личные данные для принятия решений о выдаче виз и депортациях. Такие факторы, как история поездок, криминальное прошлое и статус занятости, учитываются при принятии решений по вопросам иммиграции.
9. Защита от катастроф:
При стихийных бедствиях правительства собирают данные о пострадавшем населении, чтобы эффективно использовать свои ресурсы. Например, местоположение используется для идентификации районов, нуждающихся в немедленной помощи, что способствует быстрой ликвидации последствий стихийных бедствий.
Почему это важно для мира PRVCY?
Поскольку обладание всеми этими данными иногда склоняет правительства к тому, чтобы становиться жадными и пытаться контролировать нашу личную жизнь, как мы видели во время пландемии.
Хотя инструменты оценки рисков безусловно обещают улучшение государственного управления, конфиденциальность данных, справедливость и возможные искажения в этих системах являются постоянной проблемой. Найти правильный баланс между использованием данных на благо общества и защитой прав отдельных лиц представляет собой постоянный вызов для правительств по всему миру, и они справляются с этим не особенно успешно.
В Соединенных Штатах PATTERN используется для принятия решений о том, следует ли освобождать заключённых из тюрем и помещать их под домашний арест во время пандемии COVID-19.
PATTERN выдаёт “оценки риска” — по сути, цифры, которые оценивают вероятность того, что человек снова будет арестован или заключён после освобождения. На основе пороговых значений эти оценки преобразуются в категории риска. Например, значение ниже определённого уровня может считаться “низким риском”, а значения на уровне или выше этого — “высоким риском”, и так далее.
Эксперты по цифровой PRVCY называют эту систему алгоритмической несправедливостью.
ИИ основан на алгоритмах машинного обучения, которые, хотя и хвалятся в технической отрасли как универсальное решение, также имеют свои слабые стороны. Как и любая другая компьютерная система, они уязвимы для ошибок.
Например, в области кибербезопасности алгоритмы машинного обучения используются для быстрой идентификации неизвестного вредоносного программного обеспечения. Однако это создаёт дилемму: чем выше уровень обнаружения, тем больше вероятность, что система неправильно классифицирует безвредный файл как вредоносный. Это связано с основным принципом работы машинного обучения, при котором система не изучает особенности объекта, а сравнивает его визуальные характеристики с известными объектами.
В некоторых сценариях безвредные объекты могут очень напоминать вредоносные, и система, основанная на оценке, вероятно, классифицирует объект как вредоносный. В контексте, где автоматизированные системы оценивают поведение людей, эта особенность машинного обучения может привести к множеству неприятных ситуаций, когда невинного человека ошибочно вовлекают в “неправильные” действия.
В других примерах правительства используют сбор данных таким образом, о котором мы даже не знаем, для чего он предназначен.
В 2020 году президентская администрация Коста-Рики оказалась в значительных трудностях, когда федеральные следователи провели обыски в офисах президента и четыре известных лица, включая наставника и основного сотрудника президента, были уволены. В центре этого скандала находился отдел анализа данных, созданный в исполнительных офисах, который в предшествующие 18 месяцев собирал и оценивал личные данные из различных государственных источников, якобы для помощи в разработке государственной политики. Существенным моментом было то, что отдел анализа данных президента не имел юридической основы до тех пор, пока 19 февраля правительство не издало указ, разрешающий его создание и дающий ему право запрашивать конфиденциальные личные данные из других государственных учреждений.
Как мы можем гарантировать, что государственные учреждения и другие лица, принимающие решения, будут нести ответственность за возможный ущерб, который могут причинить инструменты оценки риска?
Эти системы уязвимы к проблемам, таким как предвзятость разработчиков, ложные корреляции и петли обратной связи, и алгоритмы не учитывают этические соображения, если этот аспект специально не был предусмотрен разработчиком. Если просто загружать большое количество информации в систему машинного обучения и затем принимать её результат без критической оценки, это может привести к многочисленным непреднамеренным последствиям, включая решения, которые в конечном итоге нарушают права отдельных граждан.
В Европе и Америке в настоящее время разрабатываются законы, обязывающие компании предоставлять людям понятную информацию о том, почему их оценка ухудшилась или улучшилась (ECOA 1974, GDPR 2016) — чтобы автоматизация не становилась черным ящиком (тестировщик знает, что должна делать программа, но не знает как). Однако этого не происходит во всех других странах, которые рассматривают возможность внедрения системы социальной оценки в будущем, по крайней мере, исходя из информации, которую мы смогли найти в публичных источниках. Если это так, это означает, что множество решений полностью может оказаться в руках ИИ, что представляет собой проблему.
Ваша способность изменять правила работы системы может значительно повлиять на жизнь тех социальных групп, которые не в состоянии повлиять на правила оценки. Чтобы продвинуть эти изменения, мы создали ресурс для вас, чтобы вы чувствовали себя уполномоченными задавать вопросы, когда правительственные учреждения или разработчики заявляют о своих инструментах оценки рисков.
Большинство этих систем основаны на общедоступном интерфейсе, который содержит огромные объемы персональных данных, включая все совершенные “преступления”. Такой интерфейс более подвержен утечкам и может привести к ужасным последствиям для атакуемых лиц в случае незаконного доступа. Он также не обязательно должен быть взломан. Учреждения, использующие такие системы, часто предоставляют API, которые позволяют получить информацию о различных нарушениях лица, введя такие данные, как номер телефона или паспортный номер.
Превратится ли наша реальность в итоге в некое антиутопическое будущее, опирающееся на машинное обучение для принятия решений?
Пока нет, но, вероятно, да. Существует еще слишком много неизвестных, и неясно, могут ли национальные системы быть действительно реализованы в странах с такими разными формами правления и правовыми рамками.
Как граждане, важно быть информированными о том, как используются наши данные, и выступать за прозрачность и справедливость в этих системах. В конечном итоге, сила данных заключается не только в их сборе, но и в их ответственном и этичном использовании.
Однако одно ясно: по мере того, как технологии развиваются безудержно, границы между цифровыми технологиями и большими социальными и политическими вопросами будут лишь больше размываться. Поэтому мой #PRVCYТип:
