Второй повод для беспокойства — вероятность, что люди сами, добровольно сдадут власть. Все начнется с предоставления прав роботам: далеко не всем это кажется так же абсурдным, как мне. В конце концов, мы ведь уже дали права животным, хотя они нас об этом не просили. Права роботов могут показаться логичным этапом в расширении «круга эмпатии». Почувствовать сострадание к ним несложно, особенно если их специально разработали, чтобы вызывать такие чувства: в этом преуспели даже тамагочи, японские «виртуальные питомцы» с тремя кнопками и жидкокристаллическим дисплеем. Гонка за наращивание эмпатии начнется с первого появившегося в продаже человекообразного робота, потому что они будут продаваться намного лучше, чем обычные металлические. Дети, воспитанные роботами-нянями, на всю жизнь сохранят слабость к добрым электронным друзьям. Эффект «зловещей долины» — дискомфорт, который вызывают существа, почти, но не совсем идентичные человеку, — будет им незнаком, потому что они с детства знакомы с причудами роботов, а в подростковом возрасте, может быть, для крутости будут даже им подражать.

Следующий этап ползучей передачи власти искусственному интеллекту — разрешить ему принимать вообще все решения: он ведь гораздо умнее. Здесь надо быть очень осторожным. Может быть, компьютеры и правда умнее нас, но они служат тому, кто разработал их функции оценки. Это проблема «Волшебника страны Оз». В мире разумных машин надо будет постоянно следить за тем, чтобы они делали ровно то, что от них требуется, причем и на входе (целеполагание), и на выходе (проверяли, выдала ли машина то, что от нее просили). Если этого не сделаете вы сами, сделает кто-то другой. Машины могут помочь человечеству осознать свои желания, но самоустранившийся проигрывает: совсем как при демократии, но в еще большей степени. Об этом не принято говорить, но человек довольно легко попадает в подчинение, а ведь любой достаточно развитый искусственный интеллект неотличим от бога, и, возможно, никто не станет возражать против приказов какого-то огромного непогрешимого компьютера. Вопрос в том, кто надзирает за надзирателем. Будет ли искусственный интеллект путем к совершенной демократии или к тотальной диктатуре? Пора начать вечное дежурство.

Третий и, наверное, самый серьезный повод для беспокойства — то, что, как джинн из сказки, машины начнут давать нам то, чего мы просим, а не то, чего мы на самом деле хотим. Это не гипотетический сценарий: обучающиеся алгоритмы постоянно так поступают. Мы обучаем нейронные сети узнавать лошадей, а они учатся узнавать коричневые пятна, потому что все лошади в обучающем наборе были гнедые. Вы купили часы, и Amazon начинает рекомендовать схожие предметы — еще больше часов, — хотя они вам уже совершенно ни к чему. Если проверить все решения, которые сегодня принимают компьютеры — например, о выдаче кредитов, — можно заметить, что они зачастую необоснованно плохи. Человек был бы не лучше, если бы его мозг работал по методу опорных векторов и все познания об оценке кредитоспособности были бы получены из тщательно проработанной, но никуда не годной базы данных. Люди беспокоятся, что компьютеры станут слишком умны и захватят мир, однако настоящая проблема в том, что мир уже захвачен глупыми компьютерами.

Даже если компьютеры пока еще не блещут интеллектом, не вызывает сомнения, что их умственные способности очень быстро растут. Еще в 1965 году британский статистик Ирвинг Гуд[113], во время Второй мировой работавший с Аланом Тьюрингом над взломом «Энигмы»[114], размышлял на тему приближающегося взрывного роста интеллекта. Гуд указывал: если мы способны разработать машины умнее нас самих, те, в свою очередь, должны быть способны разработать машины, которые будут умнее их, и так до бесконечности, оставляя человеческий разум далеко позади. В 1993 году Вернор Виндж[115] окрестил это «сингулярностью». Эту концепцию широко популяризировал Рэймонд Курцвейл, который в книге The Singularity Is Near («Сингулярность рядом») утверждает, что момент, при котором разум машин превысит человеческий — давайте назовем его точкой Тьюринга, — не только неизбежен, но и ждет нас в течение ближайших нескольких десятилетий.

Очевидно, что без машинного обучения — программ, которые разрабатывают программы, — сингулярность не наступит. Еще для этого понадобится достаточно мощное оборудование, но оно не отстает. Точки Тьюринга мы достигнем вскоре после того, как изобретем Верховный алгоритм. (Я готов поспорить с Курцвейлом на бутылку Dom Pérignon, что это произойдет раньше, чем мы сконструируем мозг путем обратной инженерии — предложенного им метода достижения искусственного интеллекта, равного человеческому.) При всем уважении к Курцвейлу, однако, это приведет не к сингулярности, а к чему-то намного более интересному.

Термин «сингулярность» пришел из математики — там он обозначает точку, в которой функция стремится к бесконечности. Например, у функции 1⁄x такая точка — это x = 0, потому что результат деления единицы на ноль равен бесконечности. В физике классический пример сингулярности — черная дыра: точка бесконечной плотности, где конечное количество материи сжимается в бесконечно малое пространство. Единственная проблема с сингулярностью заключается в том, что на самом деле она не существует. (Когда вы последний раз делили торт между нулем человек и каждый из них получал бесконечный кусок?) Если физическая теория предсказывает нечто бесконечное, значит, с ней что-то не в порядке. Наглядный пример: общая теория относительности предсказывает, что черные дыры имеют бесконечную плотность, предположительно из-за того, что игнорируют квантовые эффекты. Аналогично разум не может развиваться вечно. Курцвейл признает это, но усматривает в совершенствовании технологии серию экспоненциальных кривых (скорость процессоров, объем памяти и так далее) и утверждает, что границы этого роста так далеки, что можно не принимать их во внимание.

Утверждение Курцвейла страдает переобучением. Он правильно обвиняет других в склонности к линейной экстраполяции — люди часто видят прямые линии вместо кривых, — но затем сам становится жертвой более экзотического недуга: видит везде экспоненты. В пологих кривых (ничего не происходит) он видит еще не начавшийся экспоненциальный рост. Однако кривые совершенствования технологий — это не экспоненты, а сигмоиды, наши добрые знакомцы из главы 4. Их начальные отрезки действительно легко перепутать с экспонентами, но затем они быстро расходятся. Большинство кривых Курцвейла — это следствия из закона Мура, который почти исчерпал себя. Курцвейл утверждает, что на смену полупроводникам придут другие технологии и на одних сигмоидах будут возникать другие, каждая круче предыдущей, но это лишь домыслы. Когда Курцвейл идет еще дальше и утверждает, что экспоненциально ускоряющийся прогресс виден не только в человеческих технологиях, но и во всей истории жизни на Земле, это восприятие по крайней мере частично связано с эффектом параллакса: нам кажется, что вещи, которые расположены ближе, движутся быстрее. Трилобитам[116], жившим в разгар Кембрийского взрыва, можно простить веру в экспоненциально ускоряющийся прогресс, но затем последовало большое замедление. Тираннозавры, вероятно, предложили бы вместо этого закон роста размеров организма. Эукариоты (и мы в том числе) эволюционируют медленнее, чем прокариоты[117] (например, бактерии). Эволюция ускоряется далеко не равномерно, а как придется.