Когда искусственный интеллект начнет принимать оптимальные решения о выборе карьеры (а возможно, и об отношениях с другими людьми), наше представление о человеческой природе и о жизни должно будет измениться. Люди обычно думают, что жизнь – это драма принятия решений. Либеральная демократия и капитализм со свободным рынком рассматривают индивида как независимого агента, постоянно принимающего решения, касающиеся окружающего мира. Произведения искусства – будь то пьесы Шекспира, романы Джейн Остин или пошлые голливудские комедии – обычно фокусируются на герое, который должен сделать непростой выбор. Быть или не быть? Последовать совету жены и убить короля Дункана – или прислушаться к голосу совести и пощадить его? Выйти замуж за мистера Коллинза или за мистера Дарси? В фокусе и христианской, и исламской теологии находится драма принятия решения: спасение души зависит от правильного выбора.

Что случится с подобным взглядом на жизнь, если мы будем все больше полагаться на искусственный интеллект, предоставляя ему право решать за нас? Сегодня мы доверяем Netflix выбирать для нас фильмы и спрашиваем у Google Maps, куда поворачивать. Но как только мы начнем полагаться на искусственный интеллект в выборе образования, места работы и супруга, человеческая жизнь перестанет быть драмой принятия решений. Демократические выборы и свободный рынок потеряют смысл – а с ними и большинство религий и произведений искусства. Представьте себе, что Анна Каренина достает смартфон и спрашивает алгоритм Facebook, что ей делать: остаться с Карениным или сбежать с красавцем графом Вронским. Или вообразите пьесу Шекспира, в которой жизненно важные решения принимает алгоритм Google. Несомненно, жизнь Гамлета и Макбета стала бы более комфортной – но на что она стала бы похожа? Есть ли у нас модель, позволяющая наполнить такую жизнь смыслом?

По мере того как власть будет переходить от людей к алгоритмам, наш мир перестанет быть местом, в котором действуют независимые индивиды, стремящиеся сделать правильный выбор. Вместо этого мы будем воспринимать Вселенную в виде потока данных, а организмы – в виде биохимических алгоритмов, и верить, что космическая миссия человечества заключается в создании всеобъемлющей системы обработки данных и последующем слиянии с ней. Уже сегодня мы превращаемся в крошечные элементы внутри гигантской системы обработки данных, которую никто до конца не понимает. Каждый день я получаю поток битов информации из электронной почты, твитов и статей. На самом деле я не знаю, каково мое место в этой гигантской структуре и как мои биты данных связаны с другими, исходящими от миллиардов других людей и компьютеров. И у меня нет времени это выяснять, поскольку я занят отправкой ответов на электронные письма.

Мне могут возразить, что алгоритмы не будут принимать за нас важные решения, поскольку такие решения обычно имеют этический аспект, а этика алгоритмам недоступна. Однако нет никаких причин полагать, что алгоритмы не смогут превзойти среднего человека даже в области этики. Уже сегодня смартфоны и беспилотные автомобили принимают такие решения, монополия на которые всегда принадлежала человеку. Они начинают сталкиваться с теми же этическими проблемами, которые тысячелетиями не давали покоя людям.

Предположим, например, что два ребенка в погоне за мячом выскакивают на дорогу прямо перед беспилотным автомобилем. Алгоритм, управляющий автомобилем, мгновенно определяет, что единственный способ избежать наезда на детей – выехать на встречную полосу, рискуя столкнуться с приближающимся грузовиком. Алгоритм вычисляет, что в этом случае вероятность гибели владельца автомобиля, крепко спящего на заднем сиденье, – 70 %. Как должен поступить алгоритм?[57]

Философы с незапамятных времен спорят о «проблеме вагонетки» (в классическом примере речь идет не о беспилотном автомобиле, а о вагонетке, движущейся по рельсам)[58]. До недавнего времени эти дискуссии, к сожалению, почти не влияли на реальные поступки людей, поскольку в критические моменты они обычно забывают о своих философских взглядах и руководствуются эмоциями и интуицией.

Один из самых жестоких в истории социальных наук экспериментов был поставлен в декабре 1970 года над группой студентов Принстонской семинарии, которые готовились стать священниками пресвитерианской церкви. Каждого студента попросили прийти в другое здание и сделать краткий доклад на тему притчи о добром самаритянине. Эта библейская история повествует о еврее, которого по пути из Иерусалима в Иерихон ограбили и избили разбойники, а затем бросили умирать у дороги. Через некоторое время мимо прошли священник и левит, но не обратили на него внимания. В отличие от них самаритянин (член секты, презираемой иудеями) остановился, помог несчастному и спас ему жизнь. Мораль притчи в том, что о достоинствах людей нужно судить по их делам, а не по религиозным убеждениям.

Энергичные юные семинаристы поспешили в лекционный зал, размышляя на ходу, как лучше объяснить мораль притчи о добром самаритянине. Но экспериментаторы посадили на их пути человека в лохмотьях: он сидел в дверном проеме, опустив голову и закрыв глаза. Завидев студента, «жертва» начинала кашлять и жалобно стонать. Большинство семинаристов даже не остановились, чтобы спросить, все ли с ним в порядке, не говоря уже о том, чтобы предложить помощь. Эмоциональный стресс, вызванный необходимостью спешить в лекционный зал, заглушил моральное обязательство помочь страдающему незнакомцу[59].

Человеческие эмоции оказываются сильнее философских теорий и во многих других ситуациях. Это делает этическую и философскую историю мира довольно грустным рассказом о прекрасных идеалах и поведении, далеком от идеального. Сколько христиан на самом деле подставляют вторую щеку, сколько буддистов сумели подняться над эгоистическими страстями, сколько иудеев любят своих соседей как самих себя? Такими представителей вида Homo sapiens сделал естественный отбор. Подобно всем млекопитающим, для быстрого принятия решений, связанных с жизнью и смертью, Homo sapiens использует эмоции. Мы унаследовали свой гнев, страх и вожделение от миллионов предков, каждый из которых прошел чрезвычайно строгий контроль качества – естественный отбор.

К сожалению, то, что было полезно для выживания и продолжения рода миллион лет назад в африканской саванне, не обязательно будет способствовать ответственному поведению на шоссе в XXI веке. Из-за отвлекающихся, раздраженных или нервных водителей в автомобильных авариях ежегодно гибнет более миллиона человек. Мы можем направить всех философов, пророков и священников учить водителей этике, но на дороге все равно возобладают эмоции млекопитающего и сформировавшиеся в саванне инстинкты. Поэтому спешащие семинаристы будут игнорировать страждущих, а водители в критической ситуации – наезжать на несчастных пешеходов.