столе несколько дней, когда она трудилась над одним из своих проектов. Она пыталась заставить систему распознавания лиц узнавать ее собственное лицо, но, как она ни старалась, ничего не получалось. В отчаянии она взяла со стола белую маску и натянула ее на голову. При этом система тут же распознала ее лицо или, по крайней мере, узнала маску. «Черная кожа, белые маски, – говорит она, имея в виду обличающую расизм книгу, изданную в 1952 году психиатром Францем Фаноном. – Метафора становится реальностью. Ты должен соответствовать норме, хоть эта норма – совсем не ты».

Вскоре Буоламвини занялась сравнением различных практических коммерческих инструментов, позволяющих путем анализа лиц определять такие характеристики человека, как возраст и пол. В числе этих инструментов были системы, разработанные компаниями Microsoft и IBM. В то время как Google и Facebook внедряли свои технологии распознавания лиц в приложения для смартфонов, Microsoft и IBM решили последовать примеру Clarifai, предлагая аналогичные услуги компаниям и правительственным учреждениям. Буоламвини обнаружила, что при анализе фотографий светлокожих мужчин479, эти системы допускали ошибки в определении пола только в 1 проценте случаев. Но чем темнее кожа человека на фотографии480, тем выше становится вероятность ошибки, и она особенно высока при анализе изображений темнокожих женщин. У системы Microsoft частота ошибок составляла около 21 процента481, у IBM достигала 35 процентов482.

Опубликованные зимой 2018 года, результаты этого исследования подняли мощную кампанию протеста против технологии распознавания лиц и, в частности, против ее использования в правоохранительных органах. Опасность видели том, что эта технология способна ложно классифицировать определенные группы людей как потенциальных преступников. Некоторые исследователи утверждали, что должный контроль за этой технологией невозможен без государственного регулирования. Вскоре у крупных компаний не осталось иного выбора, кроме как прислушаться к этой новой волне общественного мнения. После публикации результатов исследования главный юрисконсульт Microsoft заявил, что компания отказывается от продажи своей системы правоохранительным органам в тех случаях, когда есть опасения, что она может необоснованно нарушать права граждан, и публично призвал к государственному регулированию этой сферы деятельности. В феврале Microsoft поддержала законопроект в штате Вашингтон, который требовал, чтобы в тех общественных местах, где используются технологии распознавания лиц, об этом уведомляли специальные таблички, и чтобы поиск конкретных людей с использованием этих технологий осуществлялся правоохранительными органами только по распоряжению суда. Стоит отметить, что компания не поддержала другие законопроекты, обеспечивавшие гораздо более сильную защиту прав граждан. Но, по крайней мере, отношение к этим вопросам начало меняться.

Дебора Раджи, еще работавшая в Clarifai, обратила внимание на деятельность Буоламвини, посвященную расовым и гендерным предубеждениям, связалась с ней, и они начали сотрудничать. В конце концов Раджи перешла на работу в МТИ. Среди других проектов они начали тестировать систему распознавания лиц от третьего американского технологического гиганта – Amazon. Компания Amazon уже давно вышла за рамки своей основной деятельности – онлайн-ритейла – и стала доминирующим игроком в сфере облачных вычислений и крупным игроком в сфере глубокого обучения. Она также недавно начала продавать правоохранительным органам483 и другим государственным учреждениям свою систему распознавания лиц под названием Amazon Rekognition. В число ее первых клиентов входили управление полиции Орландо во Флориде и офис шерифа округа Вашингтон в Орегоне. Результаты нового исследования, проведенного Буоламвини и Раджи, показали484, что у сервиса Amazon также возникли проблемы с определением пола при распознавании женских и темнокожих лиц. Согласно исследованию, система ошибочно принимала женщин за мужчин в 19 процентах случаев485, а с темнокожими женщинами ошибки происходили еще чаще: в 31 проценте случаев. В отношении же мужчин со светлой кожей система работала вообще без ошибок.

Но компания Amazon отреагировала на эти публикации не так, как Microsoft и IBM. Она также призвала к большему государственному контролю в области распознавания лиц. Но вместо того, чтобы сотрудничать с авторами исследования Раджи и Буоламвини, она подвергла их нападкам в частных письмах и в публичных блогах. «Если существует беспокойство по поводу новой технологии, то ответ на эту проблему заключается явно не в том, чтобы проводить “испытания”, методика которых несовместима с реальным предназначением данного сервиса, и затем транслировать ложные и вводящие в заблуждение результаты испытаний через средства массовой информации», – написал один из руководителей Amazon Мэтью Вуд в блоге486, оспаривая и сами результаты исследования, и статью в Times, рассказывающую о них. Вся его реакция была продуктом укоренившейся в Amazon корпоративной философии. Компания настаивала на том, что никакие голоса извне не способны поколебать их собственные убеждения и установки. Но, отмахиваясь от результатов исследования, Amazon одновременно отмахивалась и от самой, реально существующей, проблемы. «Я так поняла, что если у вас есть триллион долларов, то правда вам не нужна, – говорит Буоламвини. – Вам на все плевать. Как вы скажете, так и будет».

* * *

К тому времени Мег Митчелл собрала в Google команду, занимающуюся вопросами «этичного искусственного интеллекта». Еще будучи в Microsoft, Митчелл участвовала в самых ранних разработках методики глубокого обучения и привлекла внимание сообщества исследователей ИИ, когда в интервью Bloomberg заявила, сказав, что ИИ страдает от проблемы «мужского засилья»487 и что, по ее оценкам, за последние пять лет среди ее коллег были сотни мужчин и лишь около десятка женщин. «Я абсолютно уверена, что гендерная принадлежность исследователей предопределяет488 категории вопросов, которыми они задаются, – сказала она. – Это такая форма близорукости». Перейдя в Google, Митчелл – а потом и присоединившаяся к ней Тимнит Гебру – прикладывала все силы к тому, чтобы заложить прочный этический фундамент для технологий ИИ, обращая внимание на такие проблемы, как предвзятость разработчиков, а также на использование этих технологий правоохранительными органами и военными. Еще одна сотрудница Google, Мередит Уиттакер, работавшая в группе облачных вычислений, помогала созданию исследовательской организации в Нью-Йоркском университете. Консорциум компаний, включавший в себя Google, Facebook, Microsoft и другие фирмы, основал некоммерческую организацию под названием Partnership on AI («Партнерство по ИИ»). Такие организации, как Институт будущего жизни (Future of Life Institute, основанный Максом Тегмарком в Массачусетском технологическом институте) и Институт будущего человечества (Future of Humanity Institute, основанный Ником Бостромом в Оксфорде), также занимались этикой ИИ, но они больше интересовались экзистенциальными угрозами, относящимися к отдаленному будущему. Организации же новой волны, посвященные этичному использованию ИИ, сосредоточились на более приземленных, насущных вопросах.

И для Митчелл, и для Гебру проблема предвзятости разработчиков была лишь частью более масштабной проблемы, охватывающей всю технологическую отрасль. Женщины изо всех сил стараются проявить себя во всех областях науки и техники,