Учителя, выставляющие отметки школьникам, доктора, обследующие пациентов, и работодатели, аттестующие работников, оценщики страховых убытков, устанавливающие размер страховой премии, и тренеры, оценивающие спортсменов, – каждый из них способен совершить ошибку, применяя жесткие правила снижения шума. Если работодатель использует простые правила оценки и продвижения сотрудников, подобные стандарты устраняют шум, в то же время игнорируя важнейшие аспекты деятельности работника. «Бесшумная» скоринговая система не учитывает значимых переменных, почему и сработает хуже «зашумленных» индивидуальных суждений.

В главе 27 мы рассмотрим общий подход восприятия человека как уникальной личности, а не как «элемента безликой аморфной массы». Пока же сосредоточимся на более прозаических темах. Некоторые стратегии снижения шума гарантированно служат причиной возникновения множества ошибок подобно той примитивной шахматной программе.

И все же, несмотря на видимую убедительность аргумента, на деле он таковым не является. Если конкретная стратегия снижения шума чревата ошибками, не следует смиряться с высоким уровнем шумовых помех. Необходимо продумать альтернативный подход, например, пойти по пути обобщения суждений вместо утверждения глупых правил либо разработать более адекватные методические рекомендации и регламенты взамен несуразных. Допустим, университет в целях снижения шума применяет тесты; абитуриенты с наиболее высоким рейтингом допускаются до обучения, только и всего. Если подобное правило дает слишком грубый результат, вуз может предложить формулу, которая учла бы как балл при тестировании, так и возраст, спортивные достижения, информацию о семье абитуриента и многое другое. Сложные правила могут оказаться и более точными, поскольку лучше настроены на восприятие широкого круга значимых факторов. Используют же врачи комплексные системы оценки для диагностики некоторых заболеваний. Если методические рекомендации и правила неэффективны, можно ввести иные, подходящие к конкретной ситуации формы гигиены принятия решений. Вспомните о методах обобщения суждений или о структурировании процессов – наподобие протокола промежуточных оценок.

«Бесшумные» предвзятые алгоритмы

Потенциально высокие издержки стратегий снижения шума нередко возникают при применении алгоритмов, в связи с чем набирают силу протесты, связанные с «алгоритмической предвзятостью». Мы уже убедились, что алгоритмы устраняют шум; поэтому они и выглядят столь привлекательными. Фактически бо́льшую часть настоящей книги читатель может истолковать в качестве аргумента в пользу высокой надежности алгоритмов. Однако мы видели, что снижение шума порой дается слишком высокой ценой: излишняя уверенность в алгоритме повышает уровень дискриминации по расовому и половому признаку либо действует против некоторых социально незащищенных групп населения.

Опасения дискриминационных решений алгоритмов широко распространены, и, без сомнений, подобный (и серьезный) риск имеется. Математик Кэти О’Нил в своей книге «Оружие математического разрушения» настаивает, что излишнее доверие большим данным и заключениям алгоритмов способствует интеграции предрассудков в наши решения401, увеличивает социальное неравенство и угрожает самому институту демократии. Процитируем еще один скептический отзыв: «Потенциально предвзятые математические модели402 изменяют нашу жизнь; ни компании, ответственные за их разработку, ни правительство не заинтересованы в решении данной проблемы». Независимый ресурс журналистских расследований «ProPublica»403 пишет, что COMPAS – алгоритм, широко применяющийся в прогнозировании рецидивизма, – содержит серьезную предвзятость по отношению к национальным меньшинствам.

Не стоит сомневаться в том, что бесшумную модель, полную расовых, гендерных и иных предрассудков, создать несложно. Алгоритмы, явно учитывающие цвет кожи ответчика при определении возможности выпустить того под залог, являются дискриминационными, и использование подобных программ незаконно во многих странах. Алгоритм, опирающийся на прогноз возможной беременности кандидатки на работу, дискриминирует женщин. В этих и подобных им случаях компьютерное моделирование устранит нежелательную вариативность суждений, однако привнесет неприемлемые предубеждения.

В принципе мы способны разработать программу, которая не будет принимать во внимание ни расовую принадлежность, ни пол. На сегодняшний день дискриминационная составляющая алгоритмов, вносящая искажение в механизм решений, стала насущной проблемой, которой уделяют все больше и больше внимания. И дело не только в расовых и гендерных индикаторах. Помимо непосредственной идентификации расы и пола, программа может учитывать рост и вес, которые показывают сильную корреляцию с гендерной принадлежностью, или место рождения и проживания, коррелирующие с расовой принадлежностью. Это первая причина.

Вторая причина заключается в том, что смещение может зародиться на уровне источника данных. Если алгоритм обучается на искаженной информации, он и сам будет искажен. Возьмем алгоритм предиктивной полицейской деятельности404, настроенный на прогнозирование преступлений. Нередко его используют для оптимизации рассредоточения полицейских нарядов. Если имеющиеся данные говорят о повышенной криминализации определенных районов или завышают количество определенного вида преступлений, результаты, которые рассчитает алгоритм, возведут данную информацию в принцип, усугубляя дискриминацию. Если в наборе данных для обучения алгоритма присутствует искажение, то программа волей-неволей впитывает дискриминационную информацию. В результате алгоритм, напрямую не учитывающий расовые и гендерные различия, все же развивается с искажениями, свойственными стоящим за ним людям. Более того, в этом смысле алгоритмы405 ведут себя даже хуже, чем человек: из-за отсутствия шума их отклонения более вероятны, чем у живых судей.

Многие из нас задаются насущным вопросом: действительно ли алгоритм дифференцированно относится к различным социальным группам? На самом деле настоящая книга не ставит конкретной задачи исследовать406 составляющие подобного дифференцированного отношения, искажений и степени справедливости алгоритмов – все это чрезвычайно сложные темы.

Тем не менее, отмечая несомненное превосходство алгоритмов над суждением человека, этот вопрос поднять стоит. Для начала мы рекомендуем тщательно изучить предлагаемый вам алгоритм, с тем чтобы убедиться, что он не натренирован на недопустимых данных, и проверить, не заложен ли в нем дискриминационный механизм. Человека, чьи рассуждения менее ясны, гораздо сложнее подвергнуть подробному анализу: люди порой включают дискриминационный механизм на подсознательном уровне, так что сторонний наблюдатель (в том числе и в судебной системе) не всегда легко различит подобный крен. Следовательно, алгоритм во многих отношениях более прозрачен, чем человек.

Безусловно, мы должны остановиться на цене «бесшумного», но предвзятого алгоритма, равно как и на цене столь же «бесшумных», но предвзятых правил. Ключевой вопрос: способны ли мы создать алгоритм, который будет функционировать лучше человека по ряду обязательных критериев: точность и снижение шума, отсутствие дискриминации и справедливость? По имеющимся у нас свидетельствам, алгоритм может превзойти человека, какое бы сочетание критериев мы ни выбрали. Обратите внимание – мы говорим: «может» и не говорим: «превзойдет». В главе 10 мы рассказывали об алгоритме, который способен выносить более точные суждения об освобождении подозреваемого под залог по сравнению с типичным судьей, и дискриминация по расовому признаку вмешивается в его суждения гораздо меньше. Точно таким же образом и алгоритм анализа резюме выберет лучших и более разнообразных кандидатов, чем дано человеку.

Приведенные выше примеры, а также многие случаи, о которых мы не упоминали, подталкивают нас к однозначному выводу: хотя алгоритм прогнозирования в нашем изменчивом мире