Принцип автономности лежит в основе многих прав и свобод, зафиксированных во Всеобщей декларации прав человека, которую ООН приняла в 1948 году в попытке усвоить уроки двух мировых войн. Сюда включены свобода мысли, слова и перемещения, свобода от рабства и истязаний, право на жизнь, неприкосновенность, безопасность, образование, право вступать в брак, работать и владеть собственностью. Если мы хотим, чтобы наше определение было менее антропоцентричным, мы можем дать его в более общем виде, ограничившись свободой думать, учиться, общаться, владеть собственностью и быть избавленными от причинения ущерба, а также свободой делать то, что мы хотим, пока это не нарушает свобод окружающих. Принцип автономности способствует диверсификации до тех пор, пока у всех хоть немного различаются цели. Кроме того, принцип автономности следует из принципа утилитарности, если у отдельных сущностей есть цель получать положительный опыт и они стараются действовать в своих интересах: если бы вместо этого мы хотели запретить какой-нибудь сущности достигать ее целей, даже если они никому не вредят, положительных переживаний стало бы меньше. В самом деле, это аргумент в пользу автономии — тот же самый, который экономисты приводят в пользу свободного рынка: он способствует возникновению равновесной ситуации (экономисты называют ее «парето-эффективным распределением благ»), где никому не может стать лучше без того, чтобы кому-то другому стало хуже.

Принцип преемственности говорит, что у нас должно быть право голоса в определении будущего, раз уж мы помогаем его строить. Принципы автономности и преемственности утверждают демократические идеалы: первый дает будущим формам жизни власть над тем, как будет использоваться наше космическое достояние, а последний дает такую власть ныне живущим людям.

Несмотря на то, что на первый взгляд никакого противоречия между этими четырьмя принципами не видно, внедрение их на практике проблематично — дьявол, как всегда, в деталях. Сложность кроется в реминисценциях по известным «трем законам робототехники» легендарного писателя-фантаста Айзека Азимова:

Хотя все это звучит хорошо, многие истории Азимова показывают, как законы могут привести к противоречиям и неожиданным ситуациям. Теперь предположим, что мы заменим эти законы всего двумя с целью запрограммировать принцип автономности для будущих форм жизни:

Звучит неплохо, правда? Но погодите минутку. Если животные обладают сознанием, тогда чем питаться хищникам? Все наши друзья должны стать вегетарианцами? Если некоторые замысловатые компьютерные программы будущего окажутся обладателями сознания, будет ли законно прерывать их работу? Если есть правило против прерывания цифровых форм жизни, тогда должно также быть ограничение на их создание, иначе нас ждет демографический взрыв среди цифрового населения? Всеобщая декларация прав человека была встречена единодушным одобрением, потому что только люди принимали участие в обсуждении. Как только мы начнем думать о большем количестве обладающих сознанием сущностей, чьи возможности и силы заметно различаются, мы сталкиваемся с запутанной коллизией между защитой слабых и «правом сильного».

Также есть проблемы с принципом преемственности. Принимая во внимание, насколько развились этические взгляды со Средних веков, в том числе на рабство, права женщин и т. д., хотели бы мы, чтобы люди, которые жили 1500 лет назад, имели сильное влияние на то, как устроен мир сегодня? Если нет, почему мы должны насаждать нашу этику для будущих поколений, которые могут быть существенно умнее нас? Действительно ли мы уверены, что сверхчеловеческий искусственный интеллект захочет жить с тем, что было так дорого нашему малоразвитому интеллекту? Так четырехлетняя девочка представляет себе, как она, когда вырастет и поумнеет, построит гигантский пряничный домик, в котором сможет проводить дни напролет с конфетами и мороженым. Как и она, жизнь на Земле, скорее всего, перерастет свои детские интересы. Или представьте мышь, которая создает искусственные интеллект, соразмерный человеческому, и думает, что он будет строить города из сыра. С другой стороны, если бы мы знали, что сверхчеловеческий искусственный интеллект однажды захочет совершить космоубийство и уничтожить всю жизнь в нашей Вселенной, почему должны сегодняшние люди соглашаться на безжизненное будущее, если у нас есть силы предвосхитить его, создавая завтрашний искусственный интеллект по-другому?

В заключение мы можем сказать, что сложно полностью переформулировать даже широко распространенные этические принципы таким образом, чтобы они были приемлемы для будущего искусственного интеллекта, и эта проблема заслуживает серьезного обсуждения и исследования. В настоящий момент, однако, давайте не позволим лучшему быть врагом хорошего: есть много примеров бесспорной «детсадовской этики», которая может и должна быть встроена в завтрашнюю технологию. Например, большому пассажирскому авиалайнеру должно быть запрещено сталкиваться с неподвижными объектами, и сейчас, когда у всех у них есть автопилот, радар и GPS, больше не должно существовать никакого технического оправдания подобному. Но несмотря на это, 11 сентября 2001 года террористы, угнав три самолета, врезались в здания-небоскребы; 24 марта 2015 года пилот-смертник Андреас Лубиц направил самолет авиакомпании GermanWings, выполнявший рейс 9525, в гору, установив автопилот на высоте 100 футов (30 метров) над уровнем моря, а остальное сделал бортовой компьютер. Сейчас, когда наши машины становятся достаточно умными, чтобы понимать, что они делают, настало время нам обозначить для них границы. Любой инженер, разрабатывающий машину, должен задаться вопросом, есть ли какие-то вещи, которые она может, но не должна делать, и обдумать, есть ли практический способ сделать так, чтобы недобросовестный или неумелый пользователь не смог бы использовать ее во вред.

Эта глава была короткой историей целей. Если мы быстро перемотаем нашу 13,8-миллиардолетнюю историю космоса, мы увидим несколько основных стадий развития целенаправленного поведения: