Сценарии робокалипсиса базируются на расплывчатой концепции интеллекта, которая восходит скорее к идеям Великой цепи бытия и ницшеанской воли к власти, чем к современной научной картине реальности[869]. Согласно этой концепции, интеллект – всемогущий эликсир осуществления желаний, которым разные субъекты обладают в разном количестве. У людей его побольше, чем у животных, а искусственному интеллекту или роботам будущего его достанется еще больше. Мы, люди, применив свой умеренный запас интеллекта, смогли приручить или уничтожить не настолько богатых им животных (а технологически развитые общества смогли поработить или уничтожить технологически отсталые народы); следовательно, сверхсообразительный искусственный интеллект сделает то же самое с нами. А так как ИИ способен думать в миллион раз быстрее нас и будет использовать эту свою способность, чтобы наращивать собственную интеллектуальную мощь в геометрической прогрессии (сценарий, который иногда обозначают словом «фум», foom – так в комиксах изображается звук резкого взлета), мы окажемся не в силах его остановить, стоит ему один раз включиться[870].

Это так же бессмысленно, как представление, что, раз реактивные самолеты летают лучше орлов, однажды они начнут пикировать с неба и красть скот. Первая ошибка – путать интеллект и мотивацию, убеждения и желания, суждения и цели, мышление и стремление. Даже если бы мы действительно изобрели нечеловечески умных роботов, с чего бы они захотели поработить своих хозяев и захватить мир? Разум – это способность изобретать новые средства достижения цели. Но сами цели лежат вне интеллекта: быть умным не значит хотеть чего-то определенного. Просто так случилось, что разум в одной конкретной системе, а именно Homo sapiens, стал продуктом дарвиновского естественного отбора – процесса, конкурентного по самой своей природе. В мозгах представителей этого вида мышление увязано (у каждого в разной степени) с такими целями, как победа над соперниками и накопление ресурсов. Но нельзя путать свойства лимбической системы конкретного вида приматов с самой природой интеллекта. Почему бы созданному, а не возникшему в результате эволюции искусственному интеллекту не мыслить подобно шму, бесформенным альтруистам из комиксов Эла Кэппа, которые использовали свою недюжинную смекалку, чтобы поджаривать самих себя, к радости проголодавшихся людей. Нет такого закона сложных систем, который гласил бы, что разумный субъект обязан быть безжалостным захватчиком. Более того, нам известно о существовании высокоразвитой формы интеллекта, которая развилась без этого дефекта. Ее называют женщинами.

Вторая ошибка – считать интеллект безграничным диапазоном возможностей, чудодейственным эликсиром, способным решить любую проблему и достичь любой цели[871]. Именно эта ошибка заставляет нас задавать бессмысленные вопросы типа «А когда искусственный интеллект станет умнее человека?» и вызывает в нашем воображении образ непревзойденного «сильного искусственного интеллекта», всезнающего и всемогущего, словно Бог. Интеллект – это хитроумная конструкция из множества модулей – блоков программного обеспечения, которые либо были запрограммированы с помощью знаний, либо сами накапливают знания для достижения разнообразных задач в разных областях[872]. Люди оснащены такими модулями для передвижения, поиска пищи, завоевания друзей и воздействия на окружающих; они способны очаровывать потенциальных сексуальных партнеров, воспитывать детей и предаваться другим человеческим страстям и занятиям. Компьютеры можно запрограммировать на решение некоторых из этих задач (например, распознавать лица), не заботясь о других (например, очаровывать потенциального партнера); их можно научить решать недоступные людям задачи (например, моделировать климат или упорядочивать миллионы бухгалтерских записей). Задачи различны, как и виды знаний, необходимые, чтобы их решать. В отличие от демона Лапласа – вымышленного существа, которое знает местоположение и импульс каждой частицы во Вселенной и подставляет эти данные в физические уравнения, вычисляя состояние всего на свете в любой момент в будущем, – реальный субъект познания вынужден накапливать информацию о запутанном мире объектов и людей, взаимодействуя с одним его фрагментом за раз. Способность к пониманию не подчиняется закону Мура: знания добываются за счет формулирования объяснений и их проверки на практике, а не благодаря все более быстрому выполнению некоего алгоритма[873]. Поглощая информацию из интернета, всеведения тоже не достичь: большие данные все равно конечны, а вселенная знаний бесконечна.

По всем этим причинам многие специалисты в области искусственного интеллекта раздосадованы последней волной всеобщего ажиотажа, которая порождает иллюзию, будто до создания сильного искусственного интеллекта буквально рукой подать (такие волны, кстати, неизменное проклятие этой области знаний)[874]. Насколько я знаю, подобных планов вообще не существует, и дело не в том, что такой проект вряд ли окупится, а в том, что сама идея практически бессмысленна. Действительно, в последние годы появились компьютеры, способные управлять автомобилем, распознавать речь, составлять подписи к фотографиям и обыгрывать людей в «Свою игру», го и видеоигры для Atari. Но этими достижениями мы обязаны не лучшему пониманию механизмов работы разума, но грубой силе мощных процессоров и больших данных, позволяющих программам тренироваться на миллионах примеров и экстраполировать решения на похожие новые случаи. Каждая из таких программ представляет собой настоящего «идиота-гения»: она с легкостью решает задачи, под которые заточена, но не способна совершить когнитивный прыжок к решению других. Программа распознавания образов снабжает фото, сделанное за секунду до авиакатастрофы, подписью «Самолет стоит на взлетно-посадочной полосе», а игровая программа приходит в замешательство при малейшем изменении правил подсчета очков[875]. Конечно, они будут совершенствоваться, но никаких признаков фума пока не видно. Не сообщалось и о случаях, когда такая программа попыталась захватить лабораторию или поработить программистов.

Но даже если сильный искусственный интеллект и попытается проявить волю к власти, без сотрудничества с людьми он останется беспомощным мозгом в колбе. Кибернетик Рамез Наам попытался остудить страсти вокруг фума, технологической сингулярности и самосовершенствования ИИ по экспоненте: