Если эти машины со временем войдут в стадию интеллектуального взрыва, как завершится эта история целей? Может ли появиться новая система целей или возникнуть новые этические рамки, с которыми согласятся почти все сущности, объединенные процессом общего развития интеллекта? Другими словами, нет ли у нас своего рода этической предопределенности?

Даже поверхностное ознакомление с литературой по истории человечества может обнаружить намеки на такую конвергенцию: в книге The Better Angels of Our Nature Стивен Пинкер заявляет, что общество на протяжении тысячелетий становилось менее жестоким и более нацеленным на взаимодействие и что многие части мира прогрессируют по части принятия различий, автономии и демократии. Еще один намек на конвергенцию заключается в том, что поиск истины с помощью научного метода за последнее тысячелетие получил значительное распространение. Возможно, однако, что данные тенденции показывают конвергенцию не конечных целей, а всего лишь вспомогательных. Например, на рис. 7.2 видно, что поиск истины (более точной модели мира) — не более чем вспомогательная цель при достижении практически любой конечной цели. Также мы выше видели, как этические принципы — взаимопомощь, диверсификация и автономность — могут рассматриваться как вспомогательные цели, ибо помогают обществу функционировать более эффективно, а следовательно — выживать и достигать более основательных целей, которые у него могут быть. Кто-то может даже сказать: никаких «человеческих ценностей» и нет, а есть только «протокол о сотрудничестве», более эффективно помогающий в достижении вспомогательной цели взаимопомощи. В том же духе, заглядывая вперед, мы можем предположить, что вспомогательные цели любой сверхразумной системы искусственного интеллекта должны включать в себя эффективный «хард», эффективный «софт», поиск истины и любопытство просто потому, что эти вспомогательные цели помогают в достижении любых возможных конечных целей.

Против гипотезы этической предопределенности решительно выступает Ник Бострём в своей книге Superintelligence, проводя противоположную линию и выстраивая, как он его называет, тезис ортогональности, утверждающий, что конечные цели системы могут быть независимы от ее интеллекта. По определению, интеллект — это просто способность достигать сложной цели вне зависимости от того, какова эта цель; таким образом, тезис ортогональности звучит вполне логично. В конце концов, люди могут быть умными и добрыми или умными и злыми, и ум может быть использован для совершения научных открытий, создания произведений искусства, помощи людям или планирования террористических акций.

Тезис ортогональности расширяет наши возможности, говоря, что основные цели жизни в нашем космосе не предопределены и что мы вольны в выборе и оформлении их. Он предполагает, что гарантированная конвергенция к единой цели обнаруживается не в будущем, а в прошлом, когда всякая жизнь возникала с единственной простой целью — заниматься репликацией. По прошествии космического времени наиболее развитые умы получили возможность освободиться от этой банальной цели и самостоятельно выбирать себе другие. Мы, люди, не полностью свободны в этом отношении, так как многие цели остаются генетически запрограммированными в нас, но искусственный интеллект может получить удовольствие абсолютного освобождения от таких первичных целей. Эта возможность бóльшей свободы от конечных целей очевидна в сегодняшний простых и ограниченных системах с искусственным интеллектом: как я говорил ранее, единственная цель компьютера, играющего в шахматы, — выиграть, но есть такие компьютеры, цель которых — проигрывать в шахматы, и они участвуют в соревнованиях по игре в поддавки, где их цель — вынуждать противника атаковать. Возможно, эта свобода от предубеждений эволюции может сделать системы с искусственным интеллектом более этичными, чем люди, в некотором очень глубоком смысле: философы-моралисты, такие как Питер Сингер, утверждают, что многие люди ведут себя неэтично по эволюционным причинам — например, проявляя дискриминацию по отношению к отличным от людей животным.

Нам уже известно: краеугольной в ви́дении дружественного искусственного интеллекта оказывается идея, что искусственный интеллект, постоянно самосовершенствуясь, сохраняет свои конечные (дружественные) цели по мере того, как становится все более умным. Но как может «конечная цель» («финальная», как называет ее Бострём) быть даже просто определена для сверхразума? Мне кажется, мы не можем быть уверены в ви́дении дружественного AI до тех пор, пока не ответим на этот принципиальный вопрос.

Исследования в области искусственного интеллекта обычно предполагают наличие четко и однозначно сформулированной финальной цели у умных машин: например, выигрывать в шахматы или, не нарушая правил дорожного движения, довести автомобиль до заданной конечной точки. То же самое сохраняется и для большинства задач, которые мы ставим перед человеком, потому что временной горизонт и контекст известны и ограничены. Но сейчас мы говорим о будущем жизни в нашей Вселенной, не ограниченной ничем, кроме (и это в полной мере не известно) законов физики, поэтому определение целей ужасно важно! Если не учитывать квантовые эффекты, по-настоящему хорошо определенная цель укажет, как все частицы в нашей Вселенной должны быть организованы к концу времен. Но неясно, существует ли в нашей Вселенной хорошо определенный конец времен. А если частицы окажутся организованы таким образом раньше этого срока, то такая их организация долго не продлится. И в любом случае — какая организация частиц предпочтительна?

Нам, людям, свойственно отдавать предпочтение одной организации частиц перед другой; например, мы предпочитаем, чтобы в нашем родном городе сохранялась привычная организация, а не возникала иная под действием взрыва водородной бомбы. Поэтому предположим, что мы пытаемся определить функцию «хорошести», которая ставит в соответствие каждой возможной организации частиц в нашей Вселенной число, показывающее, насколько «хорошей» мы сочтем такую организацию, и потом зададим сверхразумному искусственному интеллекту цель доводить это число до максимума. Такой подход выглядит вполне разумным, поскольку описание целенаправленного поведения как приведения какой-то функции к ее экстремальному значению популярно в других областях науки: например, экономисты часто моделируют людей, пытающихся увеличить то, что они называют «функцией полезности», и многие разработчики умных систем тренируют свои интеллектуальные программы на приведение к максимальному значению того, что они называют «функцией успеха». Однако когда мы говорим о конечных целях нашего космоса, такой подход приводит к вычислительному кошмару, так как будет необходимо определять «хорошесть» для каждого из более чем гуголплекс возможных организаций элементарных частиц во Вселенной, где гуголплекс — это 1 с 10100 нулями, то есть нулей в нем больше, чем частиц во Вселенной. Как мы определим эту функцию нашему искусственному интеллекту?

Выше мы уже выяснили, что, возможно, единственная причина, по которой у нас есть какие-то предпочтения, состоит в том, что мы сами — решение оптимизационной эволюционной задачи. Таким образом, все нормативные определения для нашего человеческого языка — такие как «вкусный», «благоухающий», «красивый», «удобный», «интересный», «сексуальный», «значимый», «счастливый» и «хороший», ведут свое происхождение от этой оптимизационной эволюционной задачи, и нет никаких гарантий, что сверхразумный искусственный интеллект посчитает их строго определенными. Даже если искусственный интеллект научится точно предсказывать предпочтения какого-то представителя человеческого рода, он не сможет вычислить функцию «хорошести» для большинства способов упорядочения частиц: их подавляющее большинство соответствует странным космическим сценариям, когда нет звезд, нет планет или людей как таковых, когда у людей нет своих переживаний, и кто же тогда сможет сказать, «хорошо» ли получилось?