«Искусственный интеллект не ненавидит вас и не любит вас, – выразился Юдковский, – просто вы состоите из атомов, которые нужны ему для чего-то другого».

Один из способов понять эту логику – послушать записи Гленна Гульда, играющего свои интерпретации произведений Баха, и попытаться насладиться красотой музыки, одновременно удерживая в голове мысль о разрушениях, вызванных производством фортепиано: о вырубке деревьев, об истреблении слонов, об убийствах и порабощении людей ради прибыли торговцев слоновой костью. Ни пианист, ни создатель фортепиано не испытывали личной неприязни к деревьям, слонам или порабощенным мужчинам и женщинам. Но все они состояли из атомов, которые могли быть использованы для конкретных целей – зарабатывания денег и создания музыки. Иными словами, машина, так пугающая рационалистов, возможно, не так уж и отличается от нас самих.

Среди программистов, работающих над искусственным интеллектом, заметно явное нежелание делать прогнозы о том, как скоро можно ожидать появления подобия сверхчеловеческого интеллекта, даже среди тех, отнюдь не большинства, кто считает такую перспективу возможной. Отчасти это связано с элементарным нежеланием ученых делать недостаточно обоснованные утверждения, которые могут не оправдаться и поставить их в неловкое положение. Но такое нежелание также связано со специфической историей этой области, которая знает множество примеров, когда исследователи беззаботно недооценивали трудности, с которыми им придется столкнуться. Летом 1956 года, еще до того, как из идеи об искусственном интеллекте начала складываться отдельная дисциплина, небольшая группа ученых – ведущих деятелей в области математики, когнитивной науки, электротехники и информатики – собралась на шестинедельный семинар в Дартмутском колледже. В нее входили Марвин Ли Минский, Клод Шеннон и Джон Маккарти – люди, считающиеся основателями идеи об искусственном интеллекте. В предложении Фонду Рокфеллера, который финансировал этот семинар, группа предоставила следующее обоснование своего сбора:

Подобного рода высокомерие, периодически возникающее в исследованиях по этой теме, даже привело к серии «зим искусственного интеллекта» – периодов резкого сокращения финансирования, последовавших после вспышек воодушевления по поводу предстоящего решения той или иной проблемы, в итоге оказавшейся гораздо сложнее, чем предполагалось.

Повторяющиеся десятилетиями тенденции чрезмерных и пустых обещаний привели к особой культуре внутри сообщества, когда исследователи не заглядывали слишком далеко вперед. И это, в свою очередь, привело к серьезным трудностям в работе над вопросом экзистенциального риска. Большинство разработчиков в сфере искусственного интеллекта не хотели, чтобы их обвиняли в чрезмерных ожиданиях от технологий, над которыми они работали.

И что бы вы об этом ни думали, это конкретное утверждение об уничтожении человечества искусственным интеллектом действительно подвергалось обвинениям в несдержанности.

Нейт Соарес поднес руку к своей бритой голове и постучал пальцем по лбу.

– Сейчас, – сказал он, – единственный способ, которым вы можете управлять человеком, находится в этой коробке.

Я обсуждал с Нейтом преимущества, которые могут возникнуть с появлением искусственного сверхинтеллекта. Нейт видел главное достоинство в возможности воссоздать человеческое существо, в частности себя, на другом носителе, отличном от той нейронной плоти, на которую он указал.

Нейт был мускулистым широкоплечим мужчиной средних лет. Казалось, он старательно сдерживал свои порывы. На нем была зеленая футболка с надписью Nate the great, и, когда он откинулся в рабочем кресле и положил ногу на ногу, я заметил, что он был без ботинок и в разных носках: один – просто голубой, другой – белый с узором из шестеренок и колес.

Комната была совершенно пустой, за исключением стульев, на которых мы сидели, досок, письменного стола, на котором лежал открытый ноутбук, и одной книги – как я мельком разглядел, это был «Искусственный интеллект. Этапы. Угрозы. Стратегии» Бострома. Это был кабинет Нейта в Институте исследования машинного интеллекта (сокращенно – МИРИ) в Беркли. Полагаю, скудность обстановки была следствием того, что Нейт совсем недавно стал исполнительным директором, в прошлом году оставив прибыльную карьеру инженера по разработке программного обеспечения в Google и взлетев по карьерной лестнице в МИРИ. Он занял должность, ранее принадлежавшую Элиезеру Юдковскому, на которого ссылался Бостром, – теоретику искусственного интеллекта, автору идеи о квантовом скачке «от полнейшего дурачка до Эйнштейна», основателю МИРИ в 2000 году. Первоначально институт был назван Сингулярным институтом искусственного интеллекта, но был переименован в 2013 году, чтобы избежать путаницы с Университетом сингулярности, частным колледжем Силиконовой долины, основанным Рэймондом Курцвейлом и Питером Диамандисом.

Я знал, что Нейт героически относился к своему делу и к делу МИРИ. В своих статьях для рационалистического веб-сайта Less Wrong он активно обсуждал свое стремление спасти мир от неминуемого уничтожения. В одной из них я прочитал о его строгом католическом воспитании, о разрыве с верой в подростковом возрасте и о последующем погружении в «страсть, пыл и желание оптимизировать будущее» силой разума. Заявления Нейта в этих статьях показались мне преувеличенным следованием традициям Силиконовой долины, когда любой социальный или партнерский стартап пылко провозглашается призванным «изменить мир».

Нейт писал, что в четырнадцать лет осознал хаос человеческого бытия и происходящего вокруг него, и дал себе обещание. «Я не обещал исправить правительства: политика – это средство для достижения целей, удобное решение для тех, кто не знает, что делать дальше. Также я не обещал изменить мир: не все изменения хороши. Нет, я обещал спасти мир. Это обещание все еще в силе. Мир уж точно не спасет сам себя».

Я был заинтригован стилем статей Нейта, в котором слились воедино логика и какой-то немногословный, слегка странный и противоречивый романтизм, который подчеркивал идеализацию чистого разума – важный аспект не только трансгуманизма, но и более широкой культуры науки и техники, того, что я стал называть магическим рационализмом.

Сейчас он говорил о величайших преимуществах, которые откроются с появлением искусственного сверхинтеллекта. Он сказал, что, развивая такую преобразующую мир технологию, мы должны делегировать все будущие инновации, весь научно-технический прогресс искусственному интеллекту.