Система из трёх провидцев своими корнями уходит в компьютерную практику середины нашего века. Как в то время проверяли результаты компьютерных расчётов? С помощью второго, совершенно идентичного компьютера, в который вводились те же исходные данные. Но двух компьютеров не всегда достаточно. Если полученные от них результаты не сходятся, невозможно определить априори, какой из двух ответов верный. Решение этой проблемы базируется на статистическом методе и состоит в том, что для проверки результатов первых двух компьютеров используется третий. Таким способом получают так называемый рапорт большинства, или РБ. Если результаты двух из этой тройки компьютеров совпадают, именно этот ответ и считается верным, а второй — неверным. Согласно статистическим данным, крайне маловероятно, что два компьютера выдадут один и тот же неверный результат…

Филип Дик. Особое мнение[3172]

Пока философы ведут споры о проблеме сверхразума, наш мир незаметно вступил в эру прикладного ИИ — всё больше и больше решений в обществе принимается при помощи различных математических моделей, созданных обычно при помощи методов машинного обучения. Какие специфические проблемы присущи этому алгоритмическому миру, если, конечно, они вообще есть? Этой проблемой в последние годы занимается ряд исследователей, имена которых, к сожалению, не столь широко известны, как имена Илона Маска или Ника Бострома. Фундаментальная работа по систематизации подводных камней алгоритмического общества была осуществлена американской исследовательницей Кэти О’Нил в книге, которая в русском переводе получила название «Убийственные большие данные. Как математика превратилась в оружие массового поражения» (Weapons of Math Destruction: How big data increases inequality and threatens democracy[3173], дословный перевод: «Средства математического поражения: как большие данные увеличивают неравенство и угрожают демократии»[3174]).

Пройдёмся по проблемам, на которые обращает внимание О’Нил.

1. Проблема закрытости. Положим, что вы представитель какой-либо массовой профессии. В момент, когда вы устраиваетесь на работу, ваша анкета, скорее всего, будет оцениваться при помощи математической модели, призванной отсеять заведомо неподходящих кандидатов. С тем же самым вы столкнётесь, подавая заявку на кредит и во многих других ситуациях. Однако такая система может содержать в себе определённые дефекты. Кроме того, дефекты могут содержать данные, введённые в систему, а также данные о вас, полученные из других информационных систем (например, клиенты российских банков нередко сталкиваются с ошибочными блокировками своих счетов из-за некорректного сопоставления их с лицами, в отношении которых суд принял решение о блокировке). Ввиду вышеизложенного принятое моделью решение вполне может оказаться ошибочным.

Поскольку подобные модели широко используются в весьма важных областях, то по силе влияния на жизнь человека решение такой модели может быть вполне сопоставимо с вердиктом суда. В исследовании профессора Бруклинской школы права (Brooklyn Law School) Фрэнка Паскуале эта проблема названа проблемой «цифрового тайного суда» [Digital star chamber][3175], [3176]. Паскуале детально анализирует её в своей книге «Общество чёрного ящика: секретные алгоритмы, которые контролируют деньги и информацию» (The Black Box Society: The Secret Algorithms That Control Money and Information»)[3177], приводя показательные примеры.

Например, бывший водитель Uber по имени Мансур дал весьма пугающее описание своих взаимоотношений с работодателем. Вначале компания пыталась убедить его взять кредит на покупку нового автомобиля под очень высокий процент, а затем она неожиданно стала снимать в свою пользу всё большую часть дохода водителя. Но самым возмутительным Мансуру показалось то, что Uber может прекратить работу с ним, если его рейтинг окажется ниже отметки 4,7 (что может случиться, если несколько пассажиров поставят ему минимальную оценку). При этом подобное решение никак нельзя будет оспорить, и даже личное общение с сотрудниками Uber осуществить невозможно: все коммуникации производятся при помощи автоматических текстовых сообщений и электронных писем.

История Мансура по сути лишь иллюстрирует давние тенденции в области кредита и занятости, и она ни в коем случае не уникальна. Интернет-магазины живут в постоянном ужасе перед «смертной казнью Google» — внезапным, загадочным падением в рейтинге поисковых систем, в случае если они сделали нечто, что алгоритмы Google расценили как мошенничество. В США соискатели работы в Walmart’е и других крупных компаниях проходят некие «личностные тесты», которые затем обрабатываются неизвестными им алгоритмами с неведомым результатом. «Белые воротнички» также сталкиваются с программами для сортировки резюме, способными занизить или полностью проигнорировать квалификацию кандидата. Например, один алгоритмический анализатор резюме решил, что все 29 000 людей, претендовавших на «более-менее стандартную инженерную должность», недостаточно квалифицированны.

Практика показала, что «цифровой тайный суд» вполне может привести к реальным судебным приговорам и даже смертям людей. Например, на протяжении почти двух десятилетий сотрудники британской почтовой компании Post Office использовали для учёта продаж систему под названием Horizon. Из-за допущенных при её разработке ошибок некоторые расчёты осуществлялись неправильно, вследствие чего возникали мнимые недостачи на десятки тысяч фунтов. В итоге за несуществующие растраты были осуждены десятки сотрудников компании! Когда истинное положение вещей всё же выплыло на поверхность, было отменено 39 судебных приговоров, а компания Post Office выплатила компенсации 555 заявителям. Случай Horizon стал самой большой судебной ошибкой в истории Великобритании. Невинно осуждённым сотрудникам был нанесён огромный ущерб. Многие из них утратили сбережения, лишились возможности трудоустройства на престижную работу, оказались за решёткой, пережили распад семьи, а один из сотрудников, узнав, что за ним числится недостача в 100 000 фунтов, покончил с собой[3178], [3179], [3180].

Как видно, проблема «цифрового тайного суда» весьма актуальна, и никто не защищён от того, что в отношении него цифровой моделью будет принято какое-либо серьёзное решение. Однако если в случае обычного суда у человека есть право на состязательный процесс, на получение квалифицированной юридической помощи, на доступ к доказательствам, то в описанных выше случаях ничего подобного невозможно. Модель является собственностью компании, и человек не имеет права ни узнать причину отказа, ни проверить принятое решение на наличие ошибок, ни даже выяснить, какие именно данные о нём были приняты в расчёт. Всё, что связано с работой алгоритма, полностью закрыто от того, в отношении кого этот алгоритм принимает решение. Нередко параметры таких алгоритмов относятся к числу самых охраняемых тайн коммерческих организаций.

2. С проблемой закрытости связана вторая важная проблема — отсутствие обратной связи. Получив отказ на свою заявку, вы не знаете, что именно необходимо сделать, чтобы избежать повторного отказа. Одну женщину частный брокер данных ложно обвинил в том, что она продаёт метамфетамин, и той потребовались годы, чтобы исправить запись, — годы, в течение которых домовладельцы и банки отказывали ей в жилье и