Чикаго — город с древними традициями отстрела одних американских граждан другими. И гражданин Эрик Лумис, житель этого славного города, решил не выпадать из тренда — он вёл машину, из которой стреляли. Его поймали, арестовали, велели паспорт показать…
И вот суд. При вынесении приговора судья воспользовался новейшей технологией — программой Compas, которая оценивает риск рецидива. На основе больших массивов данных (а вот чего-чего, а данных про заключённых в Америке, слава богу, хватает — там сидит народу больше, чем при Сталине, и вообще больше, чем где-либо когда-либо в истории человечества. Land of the free, сами понимаете) программа предсказывает вероятность совершения повторных преступлений и опасность, которую несёт для общества индивид.
Программа была разработана ихним местным Шабасом, он же ФСИН, он же Department of Corrections — прекрасный эвфмеизм, как будто тюрьма кого-то исправляет. Впрочем, в Америке любят такое — вчера мой любимый друг из Штатов рассказывал мне, как ласково называют программу по увольнению кучи народу.
Итак, программа оценивает риск. На входе (input) у неё параметры типа возраст, предыдущие достижения на пути к успеху, и так далее, а на выходе (output) — степень риска. Вообще её используют для того, чтобы решить, выпустить зэка досрочно или нет, но продвинутый чикагский судья решил использовать её для вынесения приговора.
За свою роль в неудавшемся покушении Эрик получил по полной — 6 лет. Приговор объяснили тем, что программа решила, что он опасный. На каком основании, спросили его адвокаты? Так решила программа, сказал судья. Да, но ПОЧЕМУ? Какой у неё алгоритм? Извините, сказал судья, этот алгоритм принадлежит частной фирме, а мы им пользуемся, но раскрыть его не можем, секрет.
Адвокаты подали обжалование. Должна быть прозрачность, transparency — иначе что это за приговор? Верховный Суд штата Иллинойс постановил — output is transparent enough, то есть мы вам показали, что программа выдала на выходе, а алгоритм не дадим. Частная собственность, секреты коммерции. Шалом.
Вот так вот — загрузили данные в чорную коробочку, оттуда вылез приговор. А что внутри — мы и не знаем. И теперь встаёт вопрос — хочется ли нам такую справедливость?
А справедливость бывает разная. Те, кто не учились на юрфаке, сейчас удивлённо вздёрнули бровки (да-да, я вас вижу!) — но это так. Простой пример.
Программа Compas работает хорошо. Это значит, что по статистике она предсказывает риск рецидива лучше, чем какая-то полусгоревшая на работе баба, базирующая свою оценку на критерии «нравится — не нравится» после получасовой беседы с подсудимым. Мне как раз вчера коллега рассказал о впечатлении от такой профессионалке, и грусть объяла меня, подобно водам, до души моей.
Итак, общество получает справедливость. Но получает ли её отдельный человек? Например, допустим, что по статистике рыжие в пять раз чаще совершают преступления после выхода из тюрьмы (что в принципе естественно для людей без души). Можно ли впаять рыжему гораздо более суровый приговор на этом основании? Для общества это будет справедливо, а для данного конкретного рыжего — нет.
Сейчас я перекрещусь и напишу то, за что мне и страницу могут прикрыть. А именно, возьмём два абсолютно реальных критерия — пол и расу. По статистике мужчины ГОРАЗДО больше подвержены рецидивизму по тяжким преступлениям. Справедливо ли будет дать мужчине больший срок потому, что он мужчина?
По статистике чорные американцы убивают в четыре раза чаще, чем белые. Можно ли на этом основании дать негру гораздо больший срок, чем белому?
По статистике самолётный террорист — это в подавляющем большинстве случаев мусульманин. Можно ли на этом основании сделать спецдосмотр для мусульман? В Израиле ответ уже дан, и если кто-то хочет повеселиться, поговорите с любым арабом, который с какого-то перепугу полетел Эль-Алем.
Прикол в том, что когда это решает человек, мы можем его допросить, или если это решает судья — потребовать от него обоснования приговора. А у чорной коробочки не спросишь, молчит она. И алгоритм не дают. Это пока он есть, а когда она будет полностью сасообучающаяся — то и спросить будет не у кого. Совсем.
*********
Перед тем, как я придумаю мораль, у меня два объявления.
1. Кто-то едет из Москвы в Израиль в ближайшее время? Моей чудесной сотруднице нужно оттуда привезти посылку.
2. Кто-то ищет работу experienced Backend Web Application Developer? Другу в хороший стартап нужен, NodeJS. TypeScript – an advantage (даже не спрашивайте меня, что это такое, мопед не мой). careers(собака)way2vat.com, пишите письма.
**********
Мораль — готовы ли вы поступиться собственной безопасностью ради справедливости?
'О справедливости для всех или для каждого, или в Америке вас судит робот!' Комментариев пока нет
Будьте первым комментатором!