Дело, в котором судья использовал неизвестный программный алгоритм для вынесения приговора подсудимому, привлекло внимание Верховного суда США.
Вот что говорится в 6-й поправке к Конституции США о праве обвиняемого знать, кем он был обвинен и в чем он был обвинен:
Во всех уголовных делах обвиняемый имеет право на очную ставку со свидетелями против него.
Это право было позже распространено на прокуратуру штата, а также на федеральное обвинение 14-й поправкой. В марте Верховный суд США обратился к федеральному правительству с просьбой подать заявление «друга суда» по делу Эрика Л. Лумис, ответчик по недавнему делу в Висконсине, чье право на шестую поправку, возможно, было нарушено пугающим образом.
Компания под названием Equivant создает и продает то, что она описывает на своей веб-странице как «Программное обеспечение для управления делами и поддержки принятия решений для судов, адвокатов, надзора и классификации заключенных». Их миссия в целом состоит в том, чтобы обеспечить управление данными для системы правосудия. «Мы делаем это благодаря нашим глубоким знаниям в предметной области, современным технологиям и экспертным услугам, которые помогают обеспечивать общественную и индивидуальную безопасность, информируя о решениях на каждом этапе», - говорится на их странице «О нас». В кейсе нужно отслеживать большое количество данных, и, насколько это возможно, легко понять, как продукты Equivant помогают координировать важную информацию для часто перегруженной системы.
В деле Висконсина суд использовал Эквивалентный программный продукт, предназначенный для тюрем, под названием «Классификация Compas». Приложение предлагает следующие функции:
- Классификация - Дерево решений Первичная классификация и инструменты реклассификации
- Скрининг психического здоровья NIJ и краткий скрининг психического здоровья в тюрьме
- Оценка PREA и план действий после их завершения
- Управление жильем заключенных
- Дисциплина заключенных
- Отслеживание банд
- Управление программами заключенных
- Управление жалобами заключенных
- Составление отчетов
Не упоминается явно в этом списке, но упоминается в нескольких местах на странице компании, что Compas оценивает степень «риска» заключенного. Компания рекламирует свою «Национально признанную модель дерева решений»: «Инструменты классификации полностью автоматизированы с отображением соответствующей информации для ответа на каждое разделение рисков. Сотрудник по классификации может беспрепятственно добавлять криминальную историю, флаги предупреждения о дисциплинарной истории и удержания / задержанные во время проведения классификации ».
В случае заключенного «риск» применяется к плохому поведению. В судебном контексте это может быть истолковано как показатель вероятности совершения новых преступлений или рецидива.
Судья по делу Лумиса использовал Компаса при вынесении приговора Лумису к шести годам тюремного заключения после того, как прокурор представил сгенерированные Компасом гистограммы, согласно которым он, вероятно, совершит новые преступления. (Лумис предстал перед судом за то, что скрылся от полиции, управляя автомобилем, использованным при стрельбе.) Прокурор указал суду, что Компас выявил «высокий риск насилия, высокий риск рецидивизма, высокий досудебный риск». Когда судья сообщил Лумису, что «благодаря оценке Компаса вы идентифицированы как лицо, представляющее высокий риск для общества», стало ясно, что Компас помог судье составить его мнение о Лумисе. Лумис подал апелляцию в Верховный суд Висконсина, который вынес решение в суде низшей инстанции.
Проблема здесь в том, что никто за пределами Equivant, включая обвиняемого, не может знать, как сочувствие пришло к его неблагоприятной оценке Лумиса. Программное обеспечение использует запатентованный алгоритм моделирования для оценки риска, и компания не раскрывала и, по-видимому, не будет раскрывать, как именно она делает то, что делает. Алгоритм, в конце концов, является частью секретного соуса коммерческого продукта.
Но это означает, что Лумис не знает, почему он был классифицирован как опасный рецидивист. 6-я поправка гарантирует, что подсудимый знает причины обвинения, а проприетарная природа коммерческого программного обеспечения, такого как Compas, фактически гарантирует, что этого не может произойти.
Поскольку зависимость от программного обеспечения - и слепое доверие к его программистам - проникает в нашу культуру и, в частности, в наши правовые системы, необходимо либо найти какой-то новый метод прозрачности, либо защита 6-й поправки быть отброшенным.
Вот почему Верховный суд США заинтересовался делом Лумиса. Когда в апреле председатель Политехнического института Ренсселера спросил главного судью Джона Робертса, может ли он представить себе день, «когда умные машины, управляемые искусственным интеллектом, будут помогать в установлении фактов в зале суда или, что еще более спорно, в принятии судебных решений?” он просто ответил: «Это день, который здесь», добавив, «и это создает значительную нагрузку на то, как судебная власть поступает в своих делах.”