медиафайлы можно использовать как обучающие данные для других систем. Например, на изображениях, созданных с помощью GAN, можно обучать глубокие нейронные сети беспилотных автомобилей. Предлагалось также использовать сгенерированные лица небелых людей для обучения систем распознавания лиц, решив таким образом проблему расовой предвзятости в случаях, когда невозможно этичным образом получить достаточное количество высококачественных фотографий реальных цветных людей. Что касается синтеза голоса, то GAN могут дать людям, утратившим дар речи, сгенерированную компьютером замену, которая звучит так же, как звучал их реальный голос. Известным примером является ныне покойный Стивен Хокинг, утративший возможность разговаривать из-за бокового амиотрофического синдрома, или болезни Лу Герига, и «говоривший» характерным синтезированным голосом. В последнее время страдающие этим заболеванием, например игрок НФЛ Тим Шоу, получили возможность говорить собственным голосом, восстановленным сетями глубокого обучения, которые были обучены на записях, сделанных до болезни.

Однако потенциал злоупотребления этой технологией существует и очень соблазнителен для многих технически подкованных индивидов. Подтверждения уже имеются, например доступные широкой аудитории фейковые видеоклипы, созданные в шутку или с образовательными целями. Можно найти множество фейковых видео с «участием» знаменитостей вроде Марка Цукерберга, которые говорят такое, что они вряд ли сказали бы, по крайней мере публично. Один из самых известных примеров создал актер и комик Джордан Пил, имитатор голоса Барака Обамы, совместно с BuzzFeed. В социальном ролике Пила, призванном рассказать общественности об опасности дипфейков, Обама говорит, например, что «президент Трамп — это полное и абсолютное дерьмо»[296]. Голос Обамы в данном случае имитирует Пил, а на реальном видео изменили артикуляцию президента Обамы так, чтобы движение его губ совпадало со словами, которые произносит Пил. Настанет момент, когда в подобных видео и голос будет фабриковаться компьютером.

Самый распространенный метод создания дипфейков заключается в цифровом переносе лица одного человека в реальную видеозапись другого. По данным стартапа Sensity (бывший Deeptrace), создающего инструменты распознавания дипфейков, в 2019 году в интернет было выложено не менее 15 000 дипфейков, что на 84 % больше, чем в предыдущем году[297]. Из них 96 % представляли собой порнографические изображения знаменитостей или видео, в которых лицо звезды — почти всегда женщины — совмещено с телом порноактрисы[298]. Главными объектами стали такие звезды, как Тейлор Свифт и Скарлетт Йоханссон, но когда-нибудь жертвой цифрового абьюза может стать практически каждый, особенно если технология усовершенствуется и инструменты создания дипфейков станут более доступными и простыми для применения.

Качество дипфейков постоянно растет, и угроза того, что сфабрикованные аудио или видео станут по-настоящему разрушительными, кажется неизбежной. Как свидетельствует вымышленный пример из начала этой главы, внушающий доверие дипфейк способен буквально изменить ход истории, а средства создания подобных подделок скоро могут оказаться в руках политтехнологов, иностранных правительств или даже подростков, любящих похулиганить. Беспокоить это должно не только политиков и знаменитостей. В эпоху вирусных видео, кампаний шельмования в соцсетях и «культуры исключения» практически каждый может стать объектом дипфейка, грозящего разрушить карьеру и жизнь. Как следствие истории расовой несправедливости в Соединенных Штатах угроза срежиссированного социального и политического взрыва здесь особенно серьезна. Мы уже знаем, что вирусные видео, запечатлевшие жестокость полиции, могут почти мгновенно вызывать массовые протесты и социальные волнения. Совершенно нельзя исключать то, что в будущем можно будет синтезировать — например, силами иностранной разведывательной службы — настолько провокационное видео, что оно станет угрозой для самого общественного устройства.

Помимо целенаправленного подрыва и разрушения открываются практически неограниченные противозаконные возможности для желающих попросту заработать. Преступники охотно будут пользоваться этой технологией для самых разных целей, от мошенничеств с финансами и страховкой до манипулирования рынком ценных бумаг. Видео, в котором генеральный директор делает ложное заявление или, например, странно себя ведет, грозит обрушить акции компании. Дипфейки создадут помехи для работы правовой системы. Сфабрикованные медийные материалы можно будет предъявлять как доказательства, вследствие чего судьи и присяжные рискуют однажды оказаться в мире, где трудно или даже невозможно понять, правда ли то, что они видят собственными глазами.

Разумеется, над решениями этих проблем работают умные люди. Например, компания Sensity поставляет программное обеспечение, по ее словам способное распознавать большинство дипфейков. Однако технология не стоит на месте, что делает неизбежной «гонку вооружений» наподобие той, что идет между создателями компьютерных вирусов и компаниями, продающими программы для защиты от них. В этой гонке у злоумышленников постоянно будет пусть минимальное, но преимущество. По словам Яна Гудфеллоу, он не смог бы определить, является ли изображение реальным или фейковым, только «рассматривая пиксели»[299]. В конечном счете нам придется полагаться на механизмы аутентификации, например киберподписи к фотографиям и видео. Может быть, когда-нибудь каждая видеокамера и каждый мобильный телефон будут добавлять цифровую подпись в каждую запись. Один стартап, Truepic, уже предлагает приложение, поддерживающее эту функцию. В число его клиентов входят крупнейшие страховые компании, которые по присылаемым клиентами фотографиям оценивают все что угодно, от зданий до ювелирных изделий и дорогих вещиц[300]. Тем не менее, по мнению Гудфеллоу, это в конце концов не станет полноценным технологическим решением проблемы дипфейков. Нам придется каким-то образом научиться ориентироваться в новой беспрецедентной реальности, где все, что мы видим и слышим, может оказаться иллюзией.

Дипфейки призваны вводить людей в заблуждение. С этой проблемой связана другая — злонамеренное фабрикование данных, призванных обмануть или подчинить алгоритмы машинного обучения. В ходе таких «состязательных атак» специально созданная входная информация заставляет систему машинного обучения совершать ошибку, позволяя атакующему добиться желаемого результата. В случае машинного зрения в картину помещают какой-то предмет, искажающий ее интерпретацию нейросетью. Известен случай, когда исследователи брали фотографию панды, идентифицируемую системой глубокого обучения правильно с уверенностью 58 %, добавляли тщательно сконструированный визуальный шум и заставляли систему с уверенностью 99 % принимать ее за гиббона[301]. В ходе особенно пугающей демонстрации обнаружилось, что добавлением к знаку «Движение без остановки запрещено» всего лишь четырех маленьких прямоугольных черно-белых наклеек можно внушить системе беспилотных автомобилей, что это знак, ограничивающий скорость 45 милями в час[302]. Иными словами, состязательная атака может иметь смертельные последствия. В обоих приведенных примерах человек просто не обратил бы внимания на сбивающую с толку информацию и, безусловно, не был бы обманут. На мой взгляд, это самая яркая демонстрация того, насколько поверхностным и хрупким являются представления, формирующиеся в современных глубоких нейросетях.

Сообщество исследователей ИИ серьезно относится к состязательным атакам и считает их критической уязвимостью. Ян Гудфеллоу посвятил значительную часть своей исследовательской карьеры вопросам безопасности использования систем машинного обучения и созданию способов защиты. Сконструировать системы ИИ, неуязвимые для состязательных атак, непросто. В одном из