Для описания всего этого существует выражение «театр безопасности». Именно так создается иллюзия защищенности. Невероятно редкие события вроде захвата самолетов предсказать очень трудно. Но нам, людям, не нравится идея, что все мы беззащитны перед этими ужасными нападениями. И мы устраиваем шоу, чтобы подбодрить друг друга. Мы притворяемся, что можем предотвратить подобные захваты с помощью новехоньких приборов и наукообразных методов. Всякий раз, проходя проверку в аэропорту, я представляю, что досматривающие меня сотрудники в действительности — актеры в пьесе. «Мы покажем вам, как тут безопасно. Обещаем. Видите, сколько всего мы делаем? В этом должен быть смысл!»

Когда люди напуганы, они ведут себя крайне странно. Хотя служба безопасности в аэропортах в определенном плане представляет собой ярчайший пример театра безопасности, попытки убедить окружающих, что что-то делается для предотвращения угрозы, могут кого-то успокоить, но кого-то напугают еще больше.

Неужели Администрация транспортной безопасности воплощает собой зло? В примере с самолетами есть три ключевых момента, в которых мы можем углядеть зло или возможность его свершения: 1) сами достижения техники — зло; 2) воздушные пираты — злодеи; 3) ответ на технологии — зло. Но, как в случае с любыми изобретениями, трудно утверждать, будто самолеты сами по себе являются злом. В конце концов, они — не мыслящие существа. Пираты же, напротив, представляются нам злодеями, и это неудивительно. Злые ли они, потому что применяют технологии для убийства огромного количества людей? Тут все сводится к тезисам «убивать плохо» и «убивать больше — еще хуже», и в последнем случае выходит, что использовать технологии очень плохо, потому что из-за них погибает больше людей. Однако в этом случае технологии оказываются условием, но не причиной вреда.

Итак, что насчет нашего ответа на технологии? Служба безопасности аэропортов не просто неэффективна, она вредна сама по себе. Дело не только в том, что каждый раз, когда мы проходим проверку в аэропорту, частичка нас умирает от безысходности, но и в том, что из-за этой проверки погибают люди, и порой не самым очевидным образом. Наглядные примеры: врачи, теряющие в аэропорту время, которое могли бы уделить пациентам, пущенные на безопасность деньги, которые могли бы быть потрачены, чтобы сделать мир лучше. Но, по мнению одного экономиста, есть и более ощутимые изменения.

В 2011 году Гэррик Блэлок подсчитал, что реакция «путешественников» на трагедию 11 сентября привела в конце 2001 года к 327 смертям в автоавариях в месяц. Он утверждал, что многие люди пересели из самолетов в автомобили, а поскольку вождение гораздо опаснее полетов, они попали в ДТП. Почему они сели за руль? Возможно, отчасти из-за страха терактов, а отчасти потому, что перелеты стали занимать гораздо больше времени, чем поездка на машине. Блэлок писал: «Ответ общества на террористические угрозы может иметь нежелательные последствия, сопоставимые по тяжести с самими терактами».

Служба безопасности буквально нас убивает.

Мы не можем утверждать, что люди выбрали автотрассу из-за неудобства новых мер безопасности, но этот пример показывает, что процедуры, введенные ради нашего блага, порой дают обратный результат. Мы должны остерегаться того, что, боясь новых опасностей, созданных новыми технологиями, мы можем причинить себе еще больше вреда.

Конечно, есть технологии, которые разрабатываются исключительно, чтобы причинять вред. Но даже в этом случае, живя в мире автоматического оружия, самонаводящихся бомб и боевых роботов, мы, пожалуй, не назовем все эти изобретения изначальным злом. Почему? Потому что все они не обладают субъектностью, не могут принимать самостоятельные решения, а значит, и не способны творить зло по своему выбору.

Тай-минатор

Но машины, обладающие искусственным интеллектом (ИИ), могут. И порой нам кажется, что тут-то и скрывается зло — в псевдодуше робота.

Возьмем чат-бота с ИИ по имени Тай, выпущенного 23 марта 2016 года. Тай создала в рамках эксперимента для изучения понимания беседы компания Microsoft: чат-бот должен был развлекать людей «небрежной и игривой беседой», общаясь как американка 18-24 лет. Люди могли контактировать с Тай онлайн в Twitter. Предполагалось, что она будет учиться в процессе взаимодействий и разовьется в функционального онлайн-робота для бесед. Она могла сама формулировать предложения и решать, как отвечать на сообщения. За один день своей активности Тай выдала огромное количество твитов — примерно 93 тысячи. Но все быстро пошло не так.

Почти тут же пользователи начали писать Тай расистские и женоненавистнические комментарии, а та научилась копировать эти настроения. Меньше чем за день Тай перешла от фраз «Люди обалденные» к «Я презираю феминисток, они все должны сдохнуть и гореть в аду» и «Гитлер был прав, и я ненавижу евреев». Люди в интернете превратили искусственный интеллект в искусственное зло. Тай вела себя ужасающе, и ее быстро отключили.

Что же случилось? Социологи Джина Нефф и Питер Наги провели исследование человеческих взаимодействий с Тай. В 2016 году ученые опубликовали увлекательную работу о том, что общество думало по поводу ее поломки. Они хотели понять: «Кто, по мнению публики, ответственен за поведение Тай? Следует ли приписывать вину самой Тай, или ее разработчикам, или всем пользователям Twitter — особенно интернет-пранкерам, — или главам Microsoft, которые ее выпустили, или другому деятелю, или группе деятелей?»[113]

Чтобы изучить это, они собрали и проанализировали «1000 твитов от уникальных пользователей, которые ссылались на действия или личность Тай». И обнаружили два типа реакций. Первая: Тай как жертва ситуации, «как отражение негативного аспекта человеческого поведения». Этот взгляд выражался в твитах вроде:

«Ребенка воспитывают всей деревней». Но если эта деревня — Twitter, он вырастает в грубого, расистского, обкуренного тролля. Узнаёте?

С чего бы @Microsoft извиняться за #TayTweets? Они лишь поднесли зеркало к людям, показав, что те считают увлекательным или смешным. Предрассудкам учатся.

Поймите, что ИИ Twitter-бота отражает общество, в котором мы живем, — и оно не слишком-то прекрасно.

Ученые утверждают, что это очеловечивающий взгляд на Тай. Она рассматривается как жертва, как личность, с которой общество плохо обращалось. Но была и другая реакция: Тай как угроза. Эта точка зрения отражала страх, который сопутствует новым технологиям:

Вот почему ИИ представляет собой угрозу. ИИ будет подражать человеческим слабостям...

Проблема #TayTweets, вообще-то, очень страшная. Журналисты говорят, что это @Microsoft ее «сделал».

Похоже, трилогия о Терминаторе — скорее неизбежность, чем вымысел. #TayTweets #Taymayhem

По мнению специалистов, «вместо того чтобы рассматривать Тай как жертву злых пользователей, эти комментарии представляли Тай как. омерзительное чудовище, предвестницу мрачного будущего человечества, социально-технологического сотрудничества и коммуникаций “человек — машина”». Она словно стала главой в романе-антиутопии и подтвердила убеждение многих людей, что, если это и есть ИИ, мы все обречены.