и составить обоснованный список самых перспективных кандидатов, сэкономит очень много времени отделу кадров, которому приходится иметь дело с сотнями или тысячами кандидатов. Поэтому подобные системы сортировки резюме приобретают популярность, особенно в крупных компаниях. Предположим, однако, что прошлые решения о найме, на которых обучается алгоритм, отражают в определенной мере явный или неосознанный расизм или сексизм кадровиков. Тогда система машинного обучения автоматически приобретет эту предвзятость в ходе нормального процесса обучения. Дело не в создателях алгоритма — предвзятость содержится в обучающих выборках. В результате получится система, сохраняющая или даже усиливающая предвзятость людей и откровенно несправедливая по отношению к цветным или женщинам.

Нечто подобное произошло в Amazon в 2018 году, когда компания остановила разработку системы машинного обучения, поскольку у нее обнаружилась предвзятость в отношении женщин при подборе кандидатов на должности технических специалистов. Оказалось, если в резюме встречалось слово «женский», например упоминались женские клубы, виды спорта или учеба в женском колледже, то система давала ему заниженный балл, ставя кандидаток-женщин в проигрышное положение. Даже после того, как разработчики из Amazon устранили обнаруженные проблемы, невозможно было гарантировать непредвзятость алгоритма, поскольку место гендерной принадлежности могли занять другие атрибуты[315]. Важно отметить, что речь необязательно идет об откровенном сексизме в предшествующих решениях о приеме на работу. Алгоритм мог приобрести предвзятость только из-за непропорционально малой доли женщин на технических должностях. По сообщениям Amazon, этот алгоритм так и не прошел далее этапа разработки и ни разу не использовался на практике для просмотра резюме. Однако если бы он был использован, то, безусловно, усилил бы непропорциональность представительства женщин на технических должностях.

Еще выше ставки при применении систем машинного обучения в сфере уголовного судопроизводства. Подобные алгоритмы часто используются как подспорье при принятии решений об освобождении под залог, условно-досрочном освобождении или при вынесении приговора. Некоторые из них создаются по заказу руководства штата или местных властей, другие разрабатываются и продаются частными компаниями. В мае 2016 года организация Propublica опубликовала анализ алгоритма COMPAS, широко использовавшегося для оценки вероятности повторного нарушения закона человеком после освобождения[316]. Судя по результатам анализа, афроамериканцам несправедливо присваивали более высокий уровень риска, чем белым. Этот вывод подкрепляется множеством примеров. В статье Propublica приводилась история 18-летней чернокожей, которая хотела прокатиться на чужом детском велосипеде, но бросила его после требования владельца. Иными словами, это было озорство, а не настоящая попытка совершить кражу. Тем не менее девушку арестовали, отправили в тюрьму до решения суда и применили к данным о ее проступке систему COMPAS. Алгоритм оценил риск ее превращения в рецидивистку значительно выше, чем у белого 41-летнего мужчины, ранее судимого за вооруженное ограбление и отсидевшего пять лет в тюрьме[317]. Компания Northpoint, Inc., которая продает систему COMPAS, ставит под сомнение проведенный Propublica анализ, и вопрос о реальной степени предвзятости системы остается дискуссионным. Особое беспокойство, однако, вызывает нежелание компании раскрыть особенности работы своего алгоритма на том основании, что она считает эту информацию проприетарной. Иными словами, невозможен независимый детальный аудит системы в отношении предвзятости или точности. Хотя, казалось бы, если алгоритмы используются для принятия решений, имеющих исключительное значение для жизни человека, прозрачности и контроля должно быть больше.

Предвзятость обучающих выборок — самая распространенная, но не единственная причина несправедливости систем машинного обучения. Структура самих алгоритмов может вести к предвзятости и усиливать ее. Представьте, например, что система распознавания лиц была обучена на выборке, точно воспроизводящей демографический состав населения США. Поскольку афроамериканцы составляют лишь около 13 % населения, результатом может стать система, предвзято оценивающая чернокожих. Степень необъективности, то есть насколько проблема будет усиливаться или смягчаться, зависит от технических решений, принятых при разработке алгоритма.

К счастью, необходимость сделать системы машинного обучения справедливыми и прозрачными оказалась в центре внимания исследований ИИ. Все ведущие технологические компании вкладывают в это значительные средства. Google, Facebook, Microsoft и IBM выпустили программные инструменты, помогающие разработчикам обеспечивать непредвзятость алгоритмов машинного обучения. Сделать системы глубокого обучения объяснимыми и прозрачными, позволяющими проверять результаты их применения, очень непросто, поскольку глубокие нейронные сети — своего рода черные ящики, в которых анализ и понимание входных данных распределены среди миллионов связей между искусственными нейронами. Аналогично очень сложной задачей, требующей высокого уровня технических знаний, является оценка и обеспечение справедливости выводов этих сетей. Как убедилась Amazon на примере своей системы сортировки резюме, просто настроить алгоритм так, чтобы он игнорировал такие параметры, как раса или пол, недостаточно, поскольку система может сосредоточиться на заменителях этих характеристик. Например, имя претендента может указывать на гендерную принадлежность, а домашний адрес или индекс — на расу. Очень многообещающий метод обеспечения справедливости при применении ИИ заключается в использовании альтернативных сценариев. В ходе проверки по этому методу система должна выдавать одинаковые результаты при изменении значений таких чувствительных переменных, как раса, пол или сексуальная ориентация. Однако исследования в этой области едва начаты, и предстоит еще очень многое сделать, чтобы разработать подход, устойчиво обеспечивающий подлинную беспристрастность систем машинного обучения.

Наиболее заманчивым с точки зрения использования ИИ при принятии очень ответственных решений было бы появление технологии, стабильно менее предвзятой и более точной, чем суждение людей. Хотя избавить алгоритмы от предвзятости — нелегкая задача, это почти всегда проще, чем сделать непредубежденным человека. Как сказал в разговоре со мной Джеймс Маника, председатель совета директоров McKinsey Global Institute, «с одной стороны, машинные системы способны помочь нам преодолеть собственную предвзятость и склонность к ошибкам, а с другой — им самим могут сопутствовать еще большие риски»[318]. Свести к минимуму или устранить проблему несправедливости — одна из важнейших и срочных задач в области искусственного интеллекта.

Чтобы решить ее, необходимо обеспечить разнообразие разработчиков, которые создают, тестируют и применяют алгоритмы ИИ. Поскольку искусственный интеллект неизбежно станет определяющим фактором для нашей экономики и общества, принципиально важно, чтобы эксперты, наиболее глубоко понимающие эту технологию и, следовательно, способные влиять на направление ее развития, представляли общество в целом. Однако прогресс в этом направлении до сих пор был очень скромным. Исследование 2018 года показало, что женщины составляют лишь около 12 % ведущих исследователей ИИ, а представительство меньшинств еще ниже. Как говорит Фей-Фей Ли из Стэнфорда, «если вы посмотрите вокруг — неважно, на группы по исследованию ИИ в компаниях, преподавателей по ИИ в учебных заведениях, докторантов по этому направлению или докладчиков на ведущих конференциях, — то увидите: у нас нет разнообразия. Не хватает женщин, не хватает представителей меньшинств»[319]. Университеты, ведущие технологические компании и практически все руководители высшего звена в области ИИ полны