но сталкиваются с доходящей до крайностей предвзятостью, а иногда и с притеснениями на рабочих местах. В сфере ИИ эта проблема была более выраженной и потенциально более опасной. Вот почему они написали Amazon открытое письмо.

В письме они отвергли аргументы489, которые Мэтт Вуд и Amazon выдвинули против Буоламвини и Раджи. Они настаивали на том, чтобы компания переосмыслила свой подход490. А позицию компании по поводу государственного регулирования они назвали блефом491. «Нет никаких законов или обязательных стандартов492, которые гарантировали бы, что система Rekognition не будет использоваться в нарушение гражданских прав и свобод, – заявили они. – Мы призываем Amazon прекратить продавать Rekognition правоохранительным органам». Их письмо было подписано двадцатью пятью разработчиками ИИ493 из Google, DeepMind, Microsoft и научных кругов. Одним из них был Йошуа Бенжио. «Конечно, нам было боязно бросить вызов такой большой корпорации, – говорит Раджи. – Но мы были очень тронуты, когда научно-исследовательское сообщество поддержало нас и выступило в нашу защиту. Я поняла, что это уже не просто мы с Джой против Amazon. На нашей стороне теперь вся наука».

Глава 16

Вепонизация. «Вы, наверное, слышали комментарий Илона Маска о том, что искусственный интеллект спровоцирует Третью мировую войну»

Среди офисных помещений, которые Clarifai занимала в центре Манхэттена осенью 2017 года, окна одной из комнат в дальнем углу были заклеены бумагой, а на двери висела табличка «Тайная комната». Слова эти, с намеком на второй том приключений Гарри Поттера, были написаны от руки, а вывеска слегка покосилась. За дверью команда из восьми инженеров работала над проектом, который им нельзя было обсуждать с другими сотрудниками компании. Собственно, даже сами инженеры не совсем понимали, над чем они работают. Они знали, что обучают систему автоматической идентификации людей, транспортных средств и зданий по видеозаписям, снятым где-то в пустыне, но не знали, как и где эта технология будет использоваться. На все вопросы основатель и генеральный директор компании Мэтт Зилер отвечал, что это государственный заказ, связанный с видеонаблюдением и слежкой. Он говорил, что эта система призвана «спасать жизни».

Когда в связи с переездом Clarifai в другой, более просторный офис, инженеры компании проводили инвентаризацию электронных файлов, хранящихся во внутренней компьютерной сети, обнаружились несколько документов, в которых упоминался правительственный контракт и которые пролили свет на смысл их работы. Оказывается, они разрабатывали технологию компьютерного зрения по заказу Министерства обороны США в рамках так называемого проекта Maven. Идея как будто состояла в том, чтобы создать систему автоматической идентификации целей для ударных беспилотников. Но подробности все еще оставались неясными. Невозможно было сказать, будет ли технология использоваться для того, чтобы убивать или, наоборот, спасать жизни, как утверждал Зилер. Было неясно, какой цели это служило: автоматизировать воздушные удары или передавать информацию операторам-людям, которые будут уже сами принимать решение об ударе.

Позже, в конце 2017 года, трое военных в гражданской одежде вошли в офис Clarifai, чтобы встретиться с несколькими инженерами в еще одной секретной комнате за закрытыми дверями. Они хотели знать, какой точности позволяет достичь эта технология. Сначала они спросили, может ли она идентифицировать конкретное здание, например, мечеть. Террористы и повстанцы, по их словам, часто превращают мечети в боевые штабы. Затем они спросили, может ли система отличать мужчин от женщин. «Что вы имеете в виду?» – переспросил один из инженеров. В полевых условиях, объяснили военные, мужчин (которые носят брюки) от женщин (которые носят длинные платья до лодыжек) обычно удается отличить по зазору между ногами мужчин. Они сказали, что им разрешено стрелять в мужчин, но не в женщин. «Иногда мужчины пытаются обмануть нас, облачаясь в платья, но это им не поможет, – сказал один из них. – Мы все равно уничтожим всех этих ублюдков».

* * *

В пятницу, 11 августа 2017 года, министр обороны США Джеймс Мэттис494 сидел за столом в зале заседаний совета директоров в штаб-квартире Google в Маунтин-Вью. Середина стола была заставлена букетами белых гардений495, а у изумрудно-зеленой стены стояли четыре кофейника на подносе и несколько тарелок с выпечкой. Новый генеральный директор Google Сундар Пичаи сидел напротив министра496. Рядом с ним сидели Сергей Брин, генеральный юрисконсульт Кент Уокер497 и глава отдела искусственного интеллекта Джон Джаннандреа, тот самый Джей-Джи, который оснастил компьютеры в центрах обработки данных Google сорока тысячами графических процессоров, чтобы ускорить разработки ИИ. За столом было еще несколько человек, включая сотрудников министерства обороны498 и руководителей группы облачных вычислений Google. Большинство сотрудников Министерства обороны были в костюмах и при галстуках499. Большинство «гуглеров» были в костюмах, но без галстуков. На Сергее Брине была белая футболка500.

Мэттис отправился в турне по Западному побережью501, чтобы посетить несколько крупнейших технологических компаний в Кремниевой долине и в Сиэтле. Это было связано с тем, что Пентагон изучал различные варианты проекта Maven, который был запущен Министерством обороны четырьмя месяцами ранее502, чтобы ускорить возможности использования технологии машинного обучения в военных целях. Официально проектом занималась «междисциплинарная группа по алгоритмическому оружию»503, но реализация проекта всецело зависела от помощи со стороны таких компаний, как Google, которые последние несколько лет накапливали знания, опыт и инфраструктуру, необходимые для создания систем глубокого обучения. Министерство обороны обычно так и создавало новые технологии – в сотрудничестве с частным бизнесом, – но здесь динамика взаимоотношений была не та, что в прошлом. Google и другие компании, доминировавшие в индустрии ИИ, не были традиционными военными подрядчиками. Это были технологические компании, ориентированные на потребителей, и опыта сотрудничества с военными у них практически не было. Более того, после прихода в Белый дом Дональда Трампа, работники этих компаний еще более настороженно относились к любым правительственным проектам. Компания Google была особенно чувствительна к таким противоречивым вопросам: ее уникальная корпоративная культура позволяла сотрудникам – или даже поощряла их – высказывать свое мнение, делать то, что им нравилось делать, и вообще вести себя на работе так же, как они ведут себя дома. С первых дней существования компании эту культуру внедряли Сергей Брин и Ларри Пейдж, которые оба в юности прошли через школьное обучение по системе Монтессори504, поощрявшей свободомыслие.

Противоречия, связанные с проектом Maven, потенциально могли обостриться до крайности. Многие ученые, занимавшиеся в Google тематикой глубокого обучения, включая Джеффа Хинтона и основателей DeepMind, были принципиально против создания автономных систем вооружения. Тем не менее, многие из топ-менеджеров Google очень даже хотели работать с Министерством обороны. В частности,