Слепое подчинение

У нас уже есть некоторое представление об автоматизированных процессах, которые, по-хорошему, не должны подвергаться автоматизации. К примеру, мы можем воспользоваться специальной программой-генератором «привлекательных» текстов, благодаря которой наши посты получат больше лайков в социальных сетях. Мы часто идем на поводу у технологий, когда слепо доверяем их подсказкам, ведь это так просто и удобно. Так, люди часто добавляют в друзья человека только потому, что он является другом друга еще одного друга и недавно поставил им лайк под записью. Почему бы и нет, разве это опасно? И я бы в этом случае согласился, что на данном этапе очень сложно увидеть вред, причиняемый такими действиями.

Отречение

Но вот наступает следующая стадия, и мы начинаем замечать, как невольно перепоручаем наши обязанности технологиям. Вместо того чтобы регулярно навещать бабушку, можно установить ей Skype и видеться с ней еще чаще, но через экран. Хорошо это или плохо?

Или же, вместо того чтобы лично сопровождать бабушку на прием к врачу, мы подарим ей устройство диагностирования на расстоянии, способное измерить основные физиологические показатели в любое время и в любом месте, чтобы нам не пришлось тратить на нее свое время.

Все вокруг нас напоминает о нашем отречении от нашей собственной власти в пользу технологий. Я довольно часто пользуюсь сервисом TripAdvisor, который с уверенностью указывает мне на лучший ресторан, и мы идем именно туда, несмотря на то что нас окружают еще 25 симпатичных с виду заведений. В каком-то смысле мы доверяем машинам руководить нами и выносить за нас решения. Опять же, в случае с TripAdvisor ничего ужасного не происходит, но только представьте себе, как этот тренд увеличивается в экспоненциальных масштабах. В конце концов мы можем прийти к ощущению того, что мы вообще уже ничего не решаем и не можем ни на что повлиять, – те или иные вещи просто происходят с нами. Жизнь станет намного проще, не так ли? Идти следом гораздо легче, чем прокладывать дорогу самому.

За последние два года я уже много раз обсуждал TripAdvisor с друзьями и публикой и пришел к тому, что это просто еще одна информационная точка среди многих, и если я предупрежден о ее соблазнах (подчинении и отречении), то я смогу противостоять им и обратить этот сервис себе на пользу. Как и в других сложных случаях, главное – соблюдать баланс. Но что, если TripAdvisor превратится в ИИ, умного и всемогущего бота, и я уже не смогу с такой легкостью критически оценить его честность? Что, если он станет слишком умным, и я буду вынужден либо полностью довериться ему, либо не доверять совсем?

Карты Google – еще один пример того, как легко люди отказываются от своего «трона». Как часто вам приходилось стоять на перекрестке в чужом городе и искать на экране здание, которое находилось прямо перед вами? Но нет, мы уже не доверяем собственным глазам и глазам других людей. Мы верим тому, что нам говорит высший разум. Нужно ли брать с собой зонт на случай дождя? Google подскажет вернее, чем мое предчувствие о погоде или взгляд в окно.

Этот пример довольно безобиден, но только представьте, как эти тенденции усилятся с помощью экспоненциальных технологий. Появится ли всеобъемлющий медицинский разум, который будет решать, стоит ли нам заводить детей, основываясь на ДНК и различных других факторах? Откажут ли нам в страховке, если мы все же на это решимся, несмотря на запрет? Сможем ли мы свободно принимать решения, не основанные на логике и алгоритмах? Сможем ли мы по-прежнему совершать глупые поступки: превышать скорость, напиваться, есть вредную еду? Или свобода воли перестанет существовать?

Экспоненциальное отречение

Что произойдет, если технологии и дальше будут убеждать нас отдать им свои полномочия, ввиду того что это удобно, эффективно и как бы волшебно? Не говоря о том, что это на 95 % быстрее! Что, если мы сейчас видим только вершину айсберга отречения, находимся на пятом уровне по шкале от 0 до 100? Решимся ли мы «отречься от сознания» и позволить машинам судить о нашей морали и ценностях, как пишет Стивен Талботт[55] для The New Atlantis?81 Если, по выражению Талботта, «технологии настойчиво приглашают нас забыть самих себя», то к чему приведет применение экспоненциально более мощных технологий?

Приведет ли наша забывчивость к тому, что мы по умолчанию будем жить цифровой жизнью, как лунатики, и над нами установится глобальный цифровой феодализм, где технологии-повелители будут управлять нами, а мы даже не сможем понять, каким именно образом они это делают?

В одном можно быть уверенным: технологии и их крупнейшие провайдеры сделают все возможное, чтобы склонить нас к повиновению и отречению, случайно или преднамеренно. Вместо того чтобы изменить диету, мы принимаем лекарства от давления. Когда нам скучно, мы не тратим время на размышления, а спешим заполнить пустоту блестящими планшетами, с головой погрузиться в цифровой мир. Мы не пытаемся помочь нашим детям найти новых друзей – вместо этого мы разрешаем им играть с виртуальными друзьями: роботами-животными и куклой Hello Barbie, первой ИИ-куклой, которая разговаривает с детьми, как живая82. Это намного проще!

Станут ли в таком случае цифровые помощники Amazon Echo и Google Home такими же инструментами отречения?

В случае с социальным обеспечением, упомянутым выше, тяга к отречению может привести к тому, что государственные служащие передадут свои обязанности машинам. Представим, что этот воображаемый СоцОбесБот постепенно начинает брать на себя человеческие задачи, потому что он на 90 % дешевле и на 1000 % быстрее. Тогда, даже если он будет только на 90 % точен, правительство, скорее всего, скажет, что он все равно намного лучше справляется с работой.

Побочные эффекты

Следующим шагом вниз по этой нисходящей спирали может стать ухудшение положения оставшихся человеческих работников, пользователей и клиентов системы. Уровень фрустрации будет расти, но мы мало что сможем с этим сделать, потому что система будет намного масштабнее, быстрее, эффективнее нас. Отдельные раздражители можно будет устранить, но мы не сможем перестать пользоваться системой, принимая во внимание ее всеобъемлющее присутствие во всех сферах нашей жизни.

В который раз лучшим примером является Facebook. С одной стороны, нас очень раздражают постоянные уведомления о том, что кто-то из тех людей, которых мы едва помним, сменил статус. В то же время мы не хотим потерять связь с теми, кто действительно важен для нас. Удобство платформы, ее власть и охват лишают нас возможности изменить то, что нас в ней не устраивает.

Утрата контроля

В итоге превращение реальных людей в цифры, абстрактные данные в рамках проекта по автоматизации социального обеспечения грозит тем, что сама идея помощи людям будет безнадежно извращена и перевернута с ног на голову. Это последний этап, наиболее мрачный из пяти стадий автоматизации, до которого мы можем дойти, если не примем меры в рамках осуществления автоматизации на первых двух стадиях (подчинения и отречения).