Когда мы поймем, как решить проблему загрузки ценностей, то немедленно столкнемся со следующей — как решать, какие ценности надо загружать. Иными словами, есть ли у нас сложившееся мнение, что должен был бы желать сверхразум? Это вопрос почти философский, и мы к нему сейчас обратимся.

Предположим, мы можем назначить зародышу ИИ любую конечную ценность. Тогда принятое нами решение — какая это должна быть цель — имеет далекоидущие последствия. Нам придется определить некоторые параметры выбора, связанные с аксиомами теории принятия решений и эпистемологии. Но откуда черпать уверенность, будто мы, люди — существа недалекие, невежественные и ограниченные, — можем принимать правильные решения по этому вопросу? Сможем ли мы сделать выбор, не предопределенный предрассудками и предубеждениями нашего поколения? В этой главе мы рассмотрим, как с помощью косвенной нормативности переложить большую часть умственной работы, связанной с принятием этих решений, на сам сверхразум, но при этом не забывая, что точкой отсчета всегда должны быть фундаментальные ценности человеческой жизни.

Как заставить ИИ делать то, что мы хотим? Что мы хотим, чтобы хотел ИИ? До этого момента мы искали ответ на первый вопрос. Теперь пришло время обратиться ко второму.

Предположим, что мы решили проблемы контроля и теперь способны загрузить в мотивационную систему сверхразума любую ценность и убедить его считать ее своей конечной целью. Какую ценность нам все-таки следует выбрать? Выбор непрост. Если сверхразум обретет решающее стратегическое преимущество, именно его система ценностей начнет определять судьбу всего вселенского пространства.

Поэтому так важно не допускать ошибок при выборе цели. Но реально ли в подобных делах всерьез надеяться на безошибочность принятых решений? Мы можем заблуждаться относительно нравственных ценностей; не понять, что есть благо для нас самих; промахнуться даже в собственных желаниях. Похоже, в поисках конечной цели придется продираться сквозь колючие заросли философских проблем. Если пойти прямым путем, можно наломать дров. Особенно риск неверного выбора велик в том случае, когда имеешь дело с незнакомым контекстом принятия решения. Ведь выбор конечной цели для машинного сверхразума — цели, от которой зависит будущее всего человечества, — видимо, из всех возможных сюжетов для нас это наиболее неведомый.

Скорее всего, у нас мало шансов победить в лобовой атаке, что подтверждается отсутствием среди специалистов полного согласия по проблемам, касающимся человеческих систем ценностей. Ни одна этическая теория не получила признания большинства философов, таким образом, можно считать, что большинство неправо[489]. Об этом свидетельствует и постоянное изменение этических норм — изменение, связанное с ходом времени, что мы традиционно воспринимаем как свидетельство прогресса. Например, в средневековой Европе считалось вполне респектабельным развлечением наблюдать за пытками и казнями противников власти. В Париже XVI века популярным действом было сжигание кошек[490]. Всего сто пятьдесят лет назад на американском Юге широко практиковалось рабство, причем при полной поддержке закона и в полном согласии с моральными нормами поведения. Оглядываясь назад, видишь вопиющие нарушения не только в поступках, но и в этических воззрениях людей, живших в прежние времена. Вероятно, с тех пор мы чему-то научились в вопросах этики, хотя вряд ли можно утверждать, что наша мораль поднялась на недосягаемую высоту. Вполне вероятно, что какие-то этические концепции, которыми мы руководствуемся сегодня, имеют серьезные недостатки. При таких обстоятельствах выбирать конечную ценность, основанную на наших нынешних убеждениях, да еще так, чтобы исключить любую возможность дальнейшего развития этической системы, означало бы брать на себя ответственность за будущий риск, ведущий к экзистенциальному разрушению моральных норм.

Даже если у нас существовала бы рациональная уверенность, что мы обнаружили правильную этическую теорию — которой у нас нет, — по-прежнему оставался бы риск совершения ошибок при ее детальной проработке. У внешне простых этических теорий может иметься множество скрытых противоречий[491]. Рассмотрим, например, консеквенциалистскую теорию гедонизма (кстати, необыкновенно простую). Если совсем кратко, то она о том, что удовольствие — это ценность, а страдание — нет[492]. Даже если мы поставим все наши моральные фишки на эту теорию и она окажется верной, останутся открытыми множество важных вопросов. Следует ли присваивать более высокий приоритет «высшим удовольствиям» по сравнению с «низшими» по примеру Джона Стюарта Милля? Как учитывать интенсивность и продолжительность удовольствия? Могут ли страдание и удовольствие взаимно исключать друг друга? Какие типы мышления ассоциируются с морально допустимыми удовольствиями?[493] Увеличится ли в два раза количество удовольствия в результате появления двух точных копий одного такого типа разума?[494] Существуют ли подсознательные удовольствия? Как быть с чрезвычайно низкими шансами хоть когда-нибудь получить предельное удовольствие? Как объединить удовольствие членов неограниченной популяции в одно целое?[495]