Поскольку стимулирующий пакет включается в описание цели, а сверхразуму придется обязательно интерпретировать и реализовывать это определение, можно воспользоваться преимуществами, предлагаемыми методом косвенной нормативности, и сформулировать в описании сложные положения, довольно трудные, если реализацией будет заниматься человек. Например, вместо того чтобы вознаграждать программистов за какую-то наспех сколоченную, но понятную системой показателей, например сколько часов они проработали и сколько ошибок исправили, в стимулирующем пакете может быть указано, что программисты «должны получать вознаграждение пропорционально их вкладу, который увеличил ожидаемую вероятность успешной реализации проекта так, как этого хотели заказчики». Более того, нет причины ограничивать круг тех, на кого распространяется стимулирующий пакет, только участниками проекта. Можно указать, что вознагражден будет каждый человек в соответствии с его вкладом. Распределение благодарности — задача трудная, но от ИИ можно ожидать разумной аппроксимации критерия, явно или неявно указанного в стимулирующем пакете.

Предположим, сверхразум отыщет какой-то способ вознаградить даже тех, кто умер задолго до его создания[523]. И тогда стимулирующий пакет может быть расширен за счет некоторых умерших людей, причем не только до начала проекта, но и, возможно, до первого упоминания о концепции стимулирующего пакета. Конечно, проведение такой ретроспективной политики уже ни к чему людям, лежащим в могилах, но это было бы правильно по этическим соображениям. Правда, есть одно техническое возражение: если цель проекта — воздать по заслугам, то тогда об этом нужно упомянуть в самом описании цели, а не в рамках стимулирующего пакета.

Мы не можем слишком глубоко погружаться в этические и стратегические вопросы, связанные с созданием стимулирующего пакета. Однако позиция разработчиков ИИ по этим вопросам является важным аспектом концепции его устройства.

Еще один важный компонент проекта по созданию ИИ — система принятия решений. Выбор того или иного подхода влияет на стратегию поведения ИИ в судьбоносные моменты его существования. От этого может зависеть, например, будет ли ИИ открыт для договорных отношений с другими гипотетическими сверхразумными цивилизациями или, напротив, станет объектом шантажа с их стороны. Специфика процесса принятия решений также играет роль в трудных ситуациях вроде тех, когда имеется ограниченная вероятность неограниченных выигрышей («пари Паскаля») или чрезвычайно низкая вероятность чрезвычайно высоких ограниченных выигрышей («ограбление Паскаля»), а также когда ИИ сталкивается с фундаментальной нормативной неопределенностью или многочисленными копиями той же программы-агента[524].

Варианты, приведенные в таблице, включают в себя причинный подход к принятию решений (у которого есть множество вариаций) и подход на основе ожиданий, а также более современных кандидатов вроде «безусловного» и «вневременного» подхода, которые еще только разрабатываются[525]. Может оказаться не слишком просто подобрать верный вариант и убедиться, что мы правильно его используем. Хотя перспективы прямого описания подхода ИИ к принятию решений кажутся более реальными, чем прямого описания его конечных целей, значительный риск ошибки все-таки существует. Многие сложности, способные поставить в тупик наиболее популярные теории принятия решений, были обнаружены совсем недавно, откуда следует, что могут существовать и иные проблемы, пока невидимые глазу. В случае ИИ результаты применения ошибочного подхода могут быть катастрофическими, вплоть до гибели всего человечества.

Учитывая эти сложности, возникает идея описать подход к принятию решений, который должен использовать ИИ, непрямым методом. Можно предложить ИИ использовать «тот подход к принятию решений D, который мы предложили бы ему применить после долгих размышлений над этим вопросом». Однако ИИ должен иметь возможность принимать решения еще до того, как узнает, что такое D. Отсюда возникает потребность в промежуточном подходе к принятию решений D’, которым ИИ мог бы руководствоваться в процессе поиска D. Можно попытаться определить D’ как своего рода суперпозицию текущих гипотез ИИ о D (взвешенных на их вероятности), хотя остаются нерешенными некоторые технические проблемы, в частности, как сделать это в общем виде[526]. Есть еще один повод для беспокойства: ИИ способен сделать непоправимо неверный выбор (например, перезаписать себя, зафиксировав ошибочный подход к принятию решений) на стадии обучения, прежде чем у него появится возможность определить правильность того или иного подхода. Чтобы уменьшить риск ошибки в период повышенной уязвимости ИИ, можно попробовать наделить зародыш ограниченной рациональностью в той или иной форме — сознательно упрощенным, но более надежным подходом к принятию решений, который стойко игнорирует эзотерические соображения, даже если мы думаем, что они в конечном счете могут оказаться правильными, и который впоследствии должен заменить себя на более сложный (непрямой) подход к принятию решений, удовлетворяющий определенным критериям[527]. Можно ли это сделать, и если да, то как — вопрос открытый.