У ИИ нет никаких причин останавливаться после достижения своих целей, разве что система его мотивации какая-то очень особенная или в формулировке его конечной цели присутствуют некие дополнительные алгоритмы, отсекающие стратегии, способные оказывать слишком сильное влияние на мир. Напротив, если ИИ принимает рациональное байесовское решение, он никогда не присвоит нулевую вероятность гипотезе, что он еще не достиг своей цели, — в конце концов, это лишь эмпирическая гипотеза, против которой у ИИ есть лишь весьма размытые доказательства на уровне восприятия. Поэтому ИИ будет продолжать выпускать скрепки, чтобы понизить (возможно, астрономически малую) вероятность, что он каким-то образом не смог сделать их как минимум миллион, несмотря на все видимые свидетельства в пользу этого. Ведь нет ничего страшного в продолжении производства скрепок, если всегда имеется даже микроскопическая вероятность, что таким образом приблизишь себя к достижению конечной цели.

Теперь можно было бы предположить, что решение понятно. Но насколько безусловным оно было до того, как выяснилось, что есть проблема, которую нужно решать? Иначе говоря, если мы хотим, чтобы ИИ делал нам скрепки, то вместо конечной цели, выраженной как: «выпустить максимальное количество скрепок» или «выпустить минимально такое-то количество скрепок», — нужно поставить цель, сформулированную совершенно определенно: «выпустить такое-то конкретное количество скрепок» — скажем, ровно один миллион. Тогда ИИ будет ясно понимать, что любое отклонение от этой цифры станет для него контрпродуктивным решением. Хотя и такой вариант приведет к окончательной катастрофе. В этом случае, достигнув значения в миллион скрепок, ИИ перестанет их производить дальше, поскольку такой ход означал бы невозможность достижения его конечной цели. Но сверхразумная система — ради повышения вероятности достижения цели — могла бы предпринять и другие действия. Например, начать пересчитывать выпущенные скрепки, чтобы снизить риск того, что их слишком мало. А пересчитав, начать пересчитывать заново. Потом она примется проверять каждую — проверять снова и снова, чтобы сократить риск брака, а то вдруг какая скрепка не будет соответствовать спецификации, и тогда не получится нужного количества продукта. Что помешает сверхразуму в его рвении? Он начнет создавать сверхмощную субстанцию компьютрониум, чтобы любую материю вокруг себя преобразовать в скрепки. Все это будет делаться сверхразумом в надежде снизить риск неудачи: не ровен час, упущен из виду какой-либо фактор, способный помешать добиться конечной цели. Кстати говоря, сверхразум мог бы присвоить ненулевую вероятность, будто выпущенный миллион скрепок суть галлюцинация или будто у него ложные воспоминания, поэтому, вполне вероятно, он всегда будет считать более полезным создавать инфраструктуру, то есть не останавливаться на достигнутом, а продолжать действовать далее.

Претензия не касается того, что нет никакого доступного способа избежать подобной неудачи. Некоторые решения этого мы рассмотрим чуть позже. Речь о другом: гораздо легче убедить себя, будто решение найдено, чем действительно его найти. Это означает, что нам следует быть чрезвычайно осторожными. Мы можем предложить здравый совет по конкретизации конечной цели, который позволит избежать известных на сегодняшний день проблем, но при дальнейшем анализе, в исполнении человека или сверхразума, выяснится, что наш вариант формулировки, продиктованный сверхразумному агенту, способному обеспечить себе решающее стратегическое преимущество, все равно приведет или к порочной реализации, или к инфраструктурной избыточности, а следовательно, к экзистенциальной катастрофе.

Прежде чем завершить этот раздел, рассмотрим еще один вариант. Мы предполагали, что сверхразум стремится максимизировать ожидаемую полезность, где функция полезности выражает его конечную цель. Мы видели, что это приводит к инфраструктурной избыточности. Могли бы мы избежать этого пагубного отказа, если вместо агента, стремящегося все довести до максимума, создали бы агента, довольствующегося минимумом, — то есть агента, которого бы все «устраивало», который не стремился бы к оптимальному итогу, а вполне довольствовался бы результатом, удовлетворяющим критерию разумной достаточности? По меньшей мере есть два разных способа формализовать эту мысль.

Первый заключается в том, чтобы сама конечная цель носила характер разумной достаточности. Например, вместо того чтобы выдвигать конечную цель, предложенную как «выпустить максимальное количество скрепок» или «выпустить ровно миллион скрепок», можно было бы сформулировать цель как «выпустить от 999 000 до 1 001 000 скрепок». Функция полезности, определенная такой конечной целью, в этом диапазоне будет одинакова, и если ИИ убедится, что он попал в него, то не увидит причин продолжать производство скрепок. Но этот подход может обмануть наши надежды точно так же, как и все предыдущие: сверхразумная система никогда не присвоит нулевую вероятность тому, что она не достигла цели, а следовательно, ожидаемая полезность продолжения действий (например, все нового и нового пересчета скрепок) будет выше ожидаемой полезности их прекращения. И мы снова получаем инфраструктурную избыточность.

Второй способ тоже отвечает принципу разумной достаточности, но только менять мы будем не формулировку конечной цели, а процедуру принятия решений, которую использует ИИ для составления планов и выбора действий. Вместо поиска оптимального плана можно ограничить ИИ, предписав ему прекращать поиски в случае, если найденный план с его точки зрения имеет вероятность успеха, превышающую определенный порог, скажем, 95 процентов. Есть надежда, что ИИ может обеспечить 95-процентную вероятность достижения цели по выпуску миллиона скрепок без превращения для этого в инфраструктуру целой галактики. Но и этот способ, хотя и разработан на основе принципа разумной достаточности, терпит неудачу, правда, уже по другой причине: нет никакой гарантии, что ИИ выберет удобный и разумный (с точки зрения человека) путь достижения 95-процентной вероятности, что он выпустил миллион скрепок, например путь постройки единственного завода по их производству. Предположим, что первым решением, которое возникает в мозгу ИИ относительно способа обеспечения 95-процентной вероятности достижения конечной цели, будет разработка плана, максимизирующего вероятность достижения этой цели. Теперь ИИ нужно проанализировать это решение и убедиться, что оно удовлетворяет критерию о 95-процентной вероятности успешного выпуска миллиона скрепок, чтобы отказаться от продолжения поиска альтернативных путей достижения цели. В итоге, как и во всех предыдущих вариантах, возникнет инфраструктурная избыточность.

Возможно, есть более удачные способы создать агента, отвечающего критерию разумной достаточности, главное, сохранять бдительность, так как планы, которые в нашем представлении выглядят естественными, удобными и понятными, могут не показаться таковыми сверхразуму с решающим стратегическим преимуществом — и наоборот.

Проект может потерпеть неудачу вследствие еще одного вида пагубного отказа, которому мы дадим название преступная безнравственность. Как и инфраструктурная избыточность, преступная безнравственность представляет собой побочный эффект действий, предпринятых ИИ по инструментальным причинам. Но в этом случае побочный эффект является не внешним для ИИ, а скорее относится к «внутреннему состоянию» самой системы (или вычислительных процессов, которые она генерирует). Неудачи такого типа заслуживают отдельного рассмотрения, поскольку они малозаметны, но чреваты большими проблемами.