По прошествии 13,8 миллиардов лет космической истории мы оказываемся в умопомрачительно красивой Вселенной, которая через нас, людей, стала живой и начала осознавать себя. Мы видели, что потенциал будущей жизни в нашей Вселенной грандиознее, чем самые смелые мечты наших предков, но его омрачает столь же реальная опасность для разумной жизни погибнуть навсегда. Реализует ли жизнь свой потенциал в нашей Вселенной? В значительной степени это зависит от того, что мы, люди, живущие сегодня, сделаем за отведенный нам век. Я оптимист, и я уверен, что мы можем сделать будущую жизнь действительно прекрасной, выбрав сегодня правильный путь. Чего мы должны хотеть, и как мы можем этого добиться? Давайте потратим остальные части книги обсуждению некоторых из наиболее сложных проблем и наших возможностей в их решении.

• По сравнению с космическими сроками в миллиарды лет интеллектуальный взрыв длится мгновение, за которое технологии выходят на плато, где их ограничивают только законы физики.

• Это технологическое плато расположено значительно выше, чем любые сегодняшние технологии; достигнув его, мы сможем, взяв то же количество вещества, генерировать в десятки миллиардов раз больше энергии (используя сфалероны или черные дыры), хранить на 12–18 порядков больше информации, проводить на 31–41 порядок больше вычислений в единицу времени или преобразовать это вещество в любую другую желаемую форму.

• Сверхразумная жизнь не только радикально увеличивает эффективность использования имеющихся ресурсов, но и ускоряет рост биосферы на 32 порядка, что открывает доступ к дополнительным ресурсам посредством космического расселения со скоростью близкой к скорости света.

• Темная энергия ограничивает космическую экспансию сверхразумной жизни, но в то же время защищает ее от раздувающихся вдали пузырей смерти или враждебных цивилизаций. Угроза темной энергии, раздирающей космические цивилизации, мотивирует на осуществление массивных космических инженерных проектов, включая строительство кротовой норы, если это будет возможным.

• Основой товарных отношений на космических расстояниях станет обмен информацией.

• Если создание кротовой норы окажется невозможным, то ограничение скорости обмена информацией скоростью света создаст серьезные проблемы в координации и управлении внутри космической цивилизации. Удаленный центральный хаб может стимулировать искусственный интеллект связанных с ним узлов к сотрудничеству наградами или угрозами, например развертывая локальную AI-гвардию, которая может быть запрограммирована так, чтобы уничтожать не подчиняющиеся правилам узлы, превращая материнскую звезду в местной планетной системе в сверхновую или квазар.

• Встреча двух расширяющихся цивилизаций может привести к ассимиляции их, к сотрудничеству между ними или войне, причем последнее, возможно, менее вероятно, чем война между сегодняшними цивилизациями.

• Несмотря на широко распространенное мнение, что мы не одиноки во Вселенной, справедливо, вероятно, противоположное, и только наша цивилизация в будущем может сделать нашу Вселенную живой.

• Если мы не будем улучшать наши технологии, речь будет идти не о том, погибнет ли человечество, а о том, каким образом оно погибнет: будет ли астероид, супервулкан, нарастающий жар стареющего Солнца или какое-то другое бедствие непосредственной причиной нашей гибели.

• Если мы продолжим улучшать наши технологии с достаточной осмотрительностью, прогнозируя последствия возможных ошибок, дабы не совершать их, у земной жизни есть колоссальный потенциал к процветанию как на Земле, так и далеко за ее пределами на протяжении миллиардов лет, о чем не могли мечтать самые дерзкие из наших предков.

Если бы мне надо было одним словом выразить, в чем сложность AI-спора, я бы выбрал слово «цели». Должны ли мы определить цели для искусственного интеллекта? И если да, то какие именно цели? Кто сможет поставить эти цели? Сможем ли мы убедиться, что эти цели сохранятся даже при развитии искусственного интеллекта? Сможем ли мы изменить цели, если AI станет умнее нас? Какие наши основные цели?

Эти вопросы не только сложны — они основополагающи для будущего жизни: если мы не знаем, чего хотим, маловероятно, что мы сможем этого достичь, а если мы передадим контроль машинам, которые не разделяют наших целей, то, скорее всего, мы получим совсем не то, чего бы нам хотелось.

Дабы пролить свет на эти вопросы, давайте сначала изучим основы происхождения целей. Когда мы оглядываемся вокруг, некоторые процессы кажутся нам нацеленными на определенный результат, а другие нет. Рассмотрим для примера такой процесс: ударили по футбольному мячу, чтобы забить решающий гол в игре. Само поведение мяча при этом не кажется целенаправленным и экономнее всего описывается ньютоновским законом движения как реакция мяча на удар. С другой стороны, поведение игрока экономнее всего объясняется не механистически (атомы толкают все вокруг себя), а тем, что у него была цель — добиться для своей команды улучшения счета. Каким образом такое целенаправленное поведение вырастает из физики нашей ранней Вселенной, которая состояла в основном из группы частиц, ударяющихся обо все вокруг себя, на первый взгляд, безо всякой цели?

Любопытно, что источник целенаправленного поведения может быть найден в самих законах физики и обнаруживает себя даже в простых процессах, которые не подразумевают наличия жизни. Если девушка-спасатель приходит на помощь купальщику, как показано на рис. 7.1, мы ожидаем от нее движения по прямой, но она пробегает дальше по берегу, где можно двигаться быстрее, чем в воде, а потом немного изменяет направление, когда входит в воду. Мы естественно объясняем ее выбор траектории наличием конкретной цели, так как из всех возможных она осознанно выбирает оптимальную, которая поможет ей добраться до утопающего быстрее всего. Но ведь и луч света преломляется, когда проходит через воду (см. рис. 7.1), так чтобы время пробега до конечной цели оказалось минимальным. Как такое возможно?

Это явление известно в физике и называется принципом Ферма — по имени ученого, описавшего его в 1662 году и предложившего свое объяснение поведения светового луча. Примечательно, что физики с тех пор открыли, что все законы классической физики могут быть математически переформулированы аналогичным способом: из всех путей, которыми располагает природа, чтобы что-то сделать, она всегда выбирает оптимальный, который обычно сводится к минимизации или максимизации количества. Существует два математически эквивалентных способа сформулировать закон физики: либо через связь прошлого с будущим, либо через природную оптимизацию чего-нибудь. И хотя второй способ обычно не упоминается в элементарных курсах физики, потому что он предполагает больше математических расчетов, мне он кажется более элегантным и обоснованным. Когда человек пытается что-то оптимизировать (счет, благосостояние или счастье), мы склонны описывать такое поведение как целенаправленное. Поэтому, если сама природа старается что-то оптимизировать, нет ничего удивительного в том, что проявляется целенаправленное поведение: оно было зашито у нее в «харде» самими законами физики.