стараюсь считать, что главная цель антирасизма должна заключаться в том, чтобы лишить цвет кожи значения, а не формировать сообщества, определяемые частными интересами. Как бы там ни было, любое трезвое обсуждение этих вопросов стало совершенно невозможным.

Поэтому неудивительно, что в центре споров об ИИ обнаруживается вопрос «алгоритмического предубеждения», ставший предметом множества публикаций[123] и не меньшего числа заявлений о добрых намерениях со стороны программистов[124]. Предубеждения возникают в основном двумя способами. Во-первых, если программист, а часто это белый цисгендерный мужчина, заражает своими собственными предрассудками параметры, устанавливаемые им для ИИ. Во-вторых, в более опасном случае, если алгоритм машинного обучения тренируется на подборке примеров, которая уже содержит в себе предубеждение. Так, первые программы распознавания лиц не могли идентифицировать чернокожих людей, поскольку эксплицитные критерии не учитывали различия в цвете, а еще потому, что на изображениях, предоставленных машине, в основном были белые[125]. Социолог Анжела Кристен, француженка, которая сейчас преподает в Стэнфорде, исследовала эти явления в ньюсрумах и судах. Она обнаружила, что предсказательные алгоритмы, используемые в системе уголовного правосудия для оценки рисков, создаваемых подсудимыми, предубеждены против чернокожих на всех стадиях процедуры (в частности, когда нужно определить вероятность неявки в суд, рецидива с насилием или нарушения правил условного освобождения). Даже если допустить, что алгоритм был создан в совершенно нейтральном режиме и тренировался на бесспорных выборках, он не может не воспроизводить и не закреплять предубеждения самого американского общества. С этой точки зрения ИИ представляется неизбежно консервативной силой, меряющей будущее аршином прошлого. Говоря проще, если чернокожие люди исторически более склонны к рецидивам (по причинам, которые могут объясняться долгосрочной политикой), значит, всякий чернокожий будет механически оцениваться в качестве источника риска. Алгоритм замыкает индивида в идентичности, которую он сам для себя не выбирал.

Эти предубеждения, независимо от того, создаются они или просто усиливаются алгоритмом, порождают значительное недоверие к ИИ. Анжела Кристен выяснила: многие судьи отказываются использовать доступные им технологии, а социальные работники отбирают данные, сообщаемые ими машине, так, чтобы получить желаемый результат… Алгоритмические предубеждения влекут, таким образом, парадоксальное следствие, заново вводя в игру предубеждения человеческие! Мы предпочитаем доверять собственному суждению, недостатки и достоинства которого нам известны, но не доверять судьбу человека произволу алгоритма.

Для американского общества ставки велики. Поэтому многие исследователи работают над программами, способными сократить или устранить алгоритмические предубеждения. Все в том же Стэнфорде на затененной террасе студенческой столовой я встретился с профессором Джеймсом Зоу, который занимается применением ИИ к биомедицине. В области генетического анализа он столкнулся с предубеждением, связанным с преобладанием европеоидных групп в базах данных. Сам он азиат и стремится этот дисбаланс исправить. «ИИ жаден по своей природе», – объясняет он. Почему жаден? Потому что он оптимизирует данные большинства, чтобы определить явные закономерности, не слишком заботясь об отклонениях. Следовательно, нужно принудить его к бо́льшей инклюзивности, корректируя алгоритм в реальном времени или же внедряя в него просчитанный элемент случайности. «У нас есть некоторые технические решения», – заверяет меня профессор, прежде чем убежать в лабораторию.

Я верю Джеймсу Зоу на слово, тем более что многие исследования оправдывают его оптимизм[126]. ИИ постоянно корректируется. В силу этого совершенствования, делает неожиданный вывод Анжела Кристен, прогрессисты должны поддерживать алгоритмы, и они их на самом деле уже поддерживают. Программисты смогут выявлять собственные предубеждения и защищать от них свои алгоритмы. Тут намечается тонкая диалектика: человек по-прежнему будет нужен для того, чтобы устранять из алгоритмического рассуждения то, что остается слишком человеческим… Таким образом, ИИ может достичь той «слепой» оценки индивидуальной ситуации, которая еще с античных времен выступала идеалом непредвзятости: неслучайно Фемиду, богиню справедливости, изображают с завязанными глазами.

В применении к управлению социальными отношениями ИИ может, следовательно, способствовать преодолению или по крайней мере нейтрализации индивидуальных предубеждений, что вполне соответствует заботам современной американской интеллигенции. Я осознал это глубинное совпадение политической повестки прогрессистов и техник ИИ, посетив офис Румман Чоудхури, расположенный на тридцать пятом этаже. Она занимается разработкой «ответственного ИИ» в рамках Accenture, мультинациональной консалтинговой компании. Сначала я поблуждал по этому запутанному рабочему пространству, где соседствует несколько компаний, и полюбовался панорамным видом на Сан-Франциско. Я уже в третий раз осмотрел горизонт, когда наконец мне удалось заметить Румман, которая готовилась бесследно исчезнуть со своего идеально чистого рабочего места. Румман, с ее зелеными волосами, тысячами подписчиков в твиттере и демонстративным энтузиазмом во всем, что касается социальных вопросов, не могла бы скрыть своей принадлежности к влиятельному сообществу калифорнийских демократов, одевающихся по последней моде, получивших кучу дипломов и готовых бесконечно рассуждать о разных несправедливостях.

Румман, специалист по информатике и одновременно политологии, разрабатывает для Accenture «инструмент справедливости» (fairness tool), который благодаря цифровым средствам должен дать возможность идентифицировать и корректировать потенциальную дискриминацию внутри предприятий. Алгоритмы составлены так, чтобы они могли квантифицировать предубеждения, например неравенство полов в карьерном плане или препятствия, мешающие разнообразию в процедурах набора кадров. В идеале именно ИИ должен будет заниматься наймом. Во-первых, для этого есть техническая причина: Accenture получает несколько тысяч резюме в день, и никакая команда, состоящая из людей, не может их все проанализировать. Но главная причина – в радикальном подходе к справедливости: машина позволяет отбирать кандидатов объективнее, не учитывая нашу личную зону комфорта. Если нам свойственно отбирать профили, похожие на наш собственный, то есть тех людей, которые окончили ту же школу или занимаются тем же спортом (не говоря уже о гендере и цвете кожи), то «инструмент справедливости» ставит всех на одну доску. Не удержавшись, я все-таки задал Румман слегка провокативный вопрос: не лучше ли работать с коллегами, которые вызывают у нас спонтанное доверие? Не необходим ли определенный уровень однородности для хорошей работы предприятия, которое, в конце концов, остается частной компанией, где люди отбирают друг друга по своему усмотрению? Румман с изумлением посмотрела на меня. Меня порекомендовала ей одна общая подруга, которая отвечает за управление данными в Сан-Франциско. Разве могло быть так, что я из чужого лагеря? Быть может, я просто трампист, замаскировавшийся под модного репортера? Что, если это ловушка, которую расставили враждебные силы?

Взяв себя в руки, Румман решает преподать мне урок с разъяснением преимуществ «инструмента справедливости». С ее точки зрения, борьба с «культурным подобием» не является инструментом повышения продуктивности – это самодостаточная цель. Речь не только о внутренней политике компании Accenture, но и о требовании социальной справедливости в целом, которое становится тем более настоятельным, что власть транснациональных компаний такого типа все больше подминает под себя государства. Румман цитирует Джефферсона: чтобы избежать тирании большинства, необходимо неустанно искоренять предубеждения против меньшинств, в