Елиезер Юдковски опасается лавинообразного развития. Как только технологическое совершенство одной из программ достигнет определенного уровня, она сможет сама создавать программы, которые в свою очередь будут самостоятельно развивать свои возможности. Совокупные способности этих программ могут вырасти в геометрической прогрессии и, вполне возможно, достигнуть значительной мощности. Вспомните девиз киноэпопеи «Терминатор»: «Скайнет ожил». После этого все пошло насмарку, даже несмотря на то, что человек сумел оказать машинам вооруженное сопротивление.

Последствием подобного развития событий стало бы то, что мы превратились бы в обслугу машин и не обязательно — по своей доброй воле.

Если мы ведем речь о достаточно отдаленном будущем, то мы должны допускать, что в будущем может случиться что угодно. Однако свидетельства, имеющиеся на настоящий момент, позволяют говорить о малой вероятности подобного каскадного и нестабильного развития. Развитие даже самых мощных программ невозможно без участия человека. Например, шахматные программы опережают человека в решении лишь крайне узких задач, таких как расчет шахматных вариантов. И им по-прежнему требуется, чтобы человек включил компьютер и запустил программу, не говоря уже о том, что именно человек способен организовать турнир или создать справочник по дебютам. Никто не опасается того, что шахматные программы организуют переворот и захватят власть в Шахматной федерации Соединенных Штатов. Подобное предположение было бы, скажем, глупым. Никаких свидетельств того, что программы «мыслят сами по себе», не существует, а их самые блестящие «логические» находки являются исключительно результатом более глубоких расчетов, а не их способности разрабатывать независимые созидательные планы или ретроспективно размышлять о любви или ненависти к своим оппонентам из числа людей. Несмотря на все их практические способности, каких-либо оснований считать, что данные программы способны прийти к тому, что мы понимаем под самосознанием, не существует, и нетрудно заметить, что принципы их функционирования весьма отличны от принципов функционирования человеческого мозга. Правда такова, что в действительности не существует ни вампиров, ни драконов, ни самопрограммирующихся компьютерных систем. Поэтому давайте не будем переживать о том, что они вдруг материализуются у нас под кроватью или на жестком диске нашего компьютера.

История шахматных программ также свидетельствует в пользу того, что развитие технологий происходит постепенно и поэтапно, а не является следствием мгновенного роста возможностей программ. Компьютеры еще не сумели освоить более сложные настольные игры, такие как сёгун и го. Со временем компьютеры добьются успеха и в них, однако лишь при поддержке и лидерстве человека. Никто не видел, чтобы в свое свободное время программа Rybka ни с того ни с сего вдруг принялась обучать себя этим играм.

Согласно другому антиутопическому прогнозу распространение компьютерного разума приведет к рождению мальтузианского мира, в котором люди с трудом смогут зарабатывать себе на пропитание. Подобный сценарий рассматривается экономистом Робином Хэнсоном, моим коллегой по Университету им. Джорджа Мейсона, в его нашумевшей и влиятельной работе «Экономический рост на основе машинного разума».

Представим, что умные машины окажутся способными к любым задачам, выполняемым человеком. Экономика в подобной ситуации зайдет в тупик. Уровень заработной платы не сможет превышать себестоимость производства машины, ведь в противном случае никто не будет нанимать людей. Со временем себестоимость производства машин упадет. Соответственно, упадет и зарплата человека. Нельзя исключать и того, что себестоимость машин может оказаться ниже прожиточного уровня. В таком случае людям либо придется жить на пособие, либо население быстро сократится, либо произойдет и то и другое одновременно. Согласно модели Робина Хэнсона нас может ждать довольно продолжительный период, когда — в силу взаимодополняемости — машины будут способствовать росту зарплат, но в итоге выполнение интеллектуальной работы перейдет к ним, и зарплаты быстро рухнут.

Мальтузианская модель мира вовсе не означает падение уровня жизни для всех — ведь машинами кто-то владеет, и их владельцы — люди состоятельные, поскольку машины в состоянии производить большие объемы товаров и услуг при крайне низкой их себестоимости. А вот если бы каждый имел долевое участие во владении машинами, то это, скорее, была бы не антиутопия, а утопия. Как альтернативный вариант — долевое участие во владении машинами имеет правительство, использующее прибыль для поддержки малообеспеченных граждан, которые не успели вовремя вложить свои средства в машины или не могут найти работу вследствие конкуренции со стороны машин. Такие правительства возьмут на себя обязательства государственных попечителей наподобие того, что мы наблюдаем сегодня в небольших нефтедобывающих странах, население которых живет за счет прибыли от продажи нефти.

Рассмотрение таких радикальных сценариев развития может помочь нам в выявлении определенных тенденций, например таких, что ведут к снижению заработной платы многих категорий трудящихся (что уже освещалось в предыдущих главах применительно к рынку физического труда). Публикация Робина заставляет задуматься. Однако мною рассматривается гораздо менее отдаленное будущее и более скромные изменения. Анализ Робина может быть применим к более отдаленной перспективе — возможно, к эпохе, отстоящей от нашей на сотни лет. В ближайшие же лет пятьдесят или немногим больше значительно актуальнее будет модель стиля «адванс». Применение большинства технологий искусственного разума по-прежнему требует участия со стороны человека, и эти технологии, несмотря на их широкое распространение, не смогут заменить человека полностью. Вместо этого умные машины заменят собой лишь часть трудящихся, и процесс этот будет медленным и прерывистым.

Наиболее радикальная гипотеза о технологическом будущем, известная как «технологическая сингулярность», была выдвинута Рэймондом Курцвейлом. Курцвейл полагает, что человечество сможет сканировать мозг и загружать соответствующую информацию на компьютеры. Одновременно будет существовать множество копий одного и того же «индивида», и предположительно они смогут существовать довольно продолжительное время. При этом множественность копий делает вероятность гибели «индивида» при поломке системы маловероятной. Я слышал, как некоторые из последователей Курцвейла высказывали предположения, что подобный сценарий реализуется уже в ближайшие пятьдесят лет. При этом публикации самого Курцвейла данные предположения только поощряют. Судя по всему, личностям, существующим в цифровом виде, можно будет придавать дополнительные способности, что позволит им сочетать лучшие черты человеческого и машинного разума.

Подозреваю, что подобная система никогда не будет жизнеспособной хотя бы потому, что человеческий мозг слишком тесно связан с человеческим телом и потому, что он слишком зависит от тела в том, что касается получаемых данных и питательных веществ. Например, учеными производится исследование того, насколько наш мозг зависит от желудка (слова «думаешь не головой, а пищеводом» гораздо ближе к истине, чем можно было бы того ожидать) и насколько обработка им информации зависит от более общего взаимодействия с телом и внешней средой. Для того чтобы привести в действие мысли, подкреплять и обогащать их, необходимо, чтобы тело двигалось и взаимодействовало с внешней средой. Это значит, что «копирование мозга» потребует создания целостного функционального тела (или значительной его части), а не просто абстрактного, цифрового «мозга в бочке».