тысячи «безобидных» фотографий, приобретенных в сервисах стоковых изображений. Идея заключалась в том, чтобы система научилась отличать порнографический контент от безобидного. Проблема заключалась в том, что на приличных фотографиях преобладали белые люди, а на порнографических – чернокожие. Как вскоре поняла Раджи, система приучалась ассоциировать чернокожих людей с порнографией. «Данные, которые мы используем для обучения этих систем, имеют значение, – говорит она. – Нельзя выбирать источники данных вслепую».

Корни этой проблемы уходили в далекие годы и уж по меньшей мере к тому моменту, когда кто-то начал выбирать фотографии для стоковых сервисов, на которых компания Clarifai затем обучала свои нейронные сети. По сути, это была вездесущая проблема социальной стереотипизации. И теперь опасность состояла в том, что разработчики ИИ, использующие такие предвзятые данные, лишь усугубят проблему при обучении автоматизированных систем. Для Раджи это было совершенно очевидно. Но остальные сотрудники компании ее опасений не разделяли. Ведь люди, выбиравшие исходные данные для обучения нейросетей, – сам Мэтт Зилер и те инженеры, которых он пригласил в Clarifai, – были по преимуществу белыми мужчинами. И поскольку они были белыми мужчинами, они не понимали, что выбираемым ими исходным данным недоставало объективности. История с тегом «гориллы» должен была прозвучать тревожным сигналом для всей отрасли. Но этого не случилось.

Привлечь внимание общественности к этой фундаментальной проблеме удалось другой чернокожей женщине. Тимнит Гебру, которая изучала искусственный интеллект в Стэнфордском университете под руководством Фэй-Фэй Ли, происходила из эритрейской семьи, эмигрировавшей в США. Когда она во время очередной конференции NIPS вошла в главный зал перед началом первого доклада и окинула взглядом сотни людей, собравшихся в аудитории, ее поразил тот факт, что подавляющее большинство присутствующих составляли белые мужчины, хотя и было некоторое количество выходцев из Восточной Азии и Индии, а также несколько женщин. В тот году на конференцию приехало более пяти с половиной тысяч человек, но среди них Гебру насчитала только шестерых чернокожих, и все они были мужчинами. И это была не чисто американская или канадская конференция. Это была международная встреча в Барселоне. Проблема, на которую Дебора Раджи обратила внимание в Clarifai, распространялась на всю технологическую индустрию и все научные круги.

Вернувшись в Пало-Альто, Гебру рассказала мужу о том, что видела, и решила, что это больше не должно оставаться без внимания. В тот же вечер, сев с ноутбуком на диван, она изложила эту проблему на своей странице в Facebook:

Я не тревожусь о том, что машины захватят мир. Меня беспокоит групповое мышление, замкнутость и высокомерие, царящее в сообществе исследователей искусственного интеллекта. Особенно при нынешнем ажиотаже и огромном спросе на специалистов в этой области. Эти вещи уже вызывают проблемы, о которых нам надо начать беспокоиться уже сейчас. Машинное обучение используется для выявления тех, кому кредиты если и можно выдавать, то лишь под более высокие проценты, тех, кто с большей вероятностью совершит преступление, а значит, должен подвергаться более суровому наказанию, тех, кого следует считать террористами и т. д. Некоторые алгоритмы компьютерного зрения, которые, как нам кажется, нормально функционируют, хорошо работают только на людях, имеющих определенную внешность. Нетрудно представить себе, к каким катастрофическими последствиям это может привести в будущем. ИИ работает на очень небольшой сегмент мирового населения. И люди, создающие его, тоже принадлежат к очень незначительному сегменту мирового населения. При этом есть значительные слои населения, которые получают от этого один только вред. Не только потому, что эти алгоритмы работают против них, но и потому, что их рабочие места вытесняются роботами. Эти люди активно отстраняются от работы в высокооплачиваемой сфере, лишаются возможности нормально зарабатывать. Я слышу много разговоров о культурном разнообразии, словно это своего рода благотворительность. Я вижу, как компании и даже отдельные люди пиарятся на этом, но это только слова. Все говорят «мы ценим разнообразие» только потому, что так принято говорить. ИИ нужно рассматривать как систему. А люди, создающие технологию, составляют важную часть системы. Если многие активно исключаются из процесса его создания, значит, эта технология приносит пользу лишь немногим, а большинству идет только во вред.

Этот мини-манифест распространился по всему сообществу исследователей ИИ. В последующие месяцы Гебру создала организацию под названием Black in AI («Черные в сфеере ИИ»). После окончания аспирантуры она получила работу в Google. На очередной – и всех последующих – конференциях NIPS, организация Black in AI проводила свой семинар. Кстати, к тому времени конференции NIPS уже так не назывались. После того как многие ученые заявили, что само это название способствует созданию среды, враждебной по отношению к женщинам, организаторы конференции изменили название на NeurIPS478.[6]

Одной из сотрудниц Гебру была молодая программистка по имени Джой Буоламвини. Аспирантка Массачусетского технологического института в Бостоне, отучившаяся в магистратуре Оксфорда по стипендии Родса, Буоламвини происходила из семьи ученых. Ее отец и дед специализировались на медицинской химии. Она родилась в Эдмонтоне, где ее отец заканчивал работу над диссертацией в аспирантуре, и в детстве побывала везде, куда заносила ее семью научная деятельность, включая лаборатории в Африке и на американском Юге. Когда она в середине 1990-х, еще будучи ученицей начальных классов, посетила лабораторию отца, он упомянул о том, что занимается нейронными сетями для разработки лекарств – но тогда она, разумеется, не могла понять, что это значит. В университете она изучала робототехнику и компьютерное зрение и больше всего интересовалась технологией распознавания лиц – так нейронные сети снова вошли в ее жизнь. В литературе говорилось, что благодаря глубокому обучению технология распознавания лиц достигла стадии зрелости, но, испытав ее в деле, Буоламвини поняла, что это не так. И это стало темой ее диссертации. «Речь в ней шла не только о технологии анализа лиц, но и о методах оценки этой технологии, – говорит она. – По каким критериям мы судим о прогрессе? Кто решает, что такое прогресс? Главная проблема, с которой я столкнулась, заключается в том, что стандарты, мерила, с помощью которых мы определяем степень прогресса, могут вводить в заблуждение, и причина этого заблуждения в том, что в изучаемых нами выборках людей те, кто составляет большинство, оказываются в меньшинстве».

В октябре того же года подруга пригласила ее выбраться на вечер в Бостон в компании еще нескольких женщин. «Маски сделаем», – сказала она. Подруга имела в виду маски для ухода за кожей в спа-салоне, но Буоламвини решила, что речь о масках на Хэллоуин. Поэтому в тот вечер она принесла в свой кабинет белую пластиковую маску для Хэллоуина, которая так и лежала у нее на