Рассмотрим различие между двумя нормативными подходами, при помощи которых можно оценивать любую предлагаемую стратегию. Субъективная точка зрения предполагает ответ на вопрос: насколько проведение тех или иных изменений «в наших интересах» — то есть насколько (в среднем и предположительно) они будут отвечать интересам тех обладающих моральным статусом субъектов, которые или уже существуют, или будут существовать независимо от того, произойдут предлагаемые изменения или нет. Объективная точка зрения, напротив, не предполагает учет мнения существующих людей или тех, кто будет жить в будущем, независимо от того, произойдут ли предполагаемые изменения. Она учитывает всех одинаково независимо от их положения на временной шкале. С объективной точки зрения наибольшую ценность имеет появление новых людей, при условии, что их жизнь будет стоить того, чтобы ее прожить, — чем более счастливой будет их жизнь, тем лучше.

Для первичного анализа может быть полезно сопоставить эти две точки зрения, хоть такой прием является лишь легким намеком на этические сложности, связанные с революцией машинного интеллекта. Вначале следует посмотреть на ситуацию с объективной, а затем с субъективной точек зрения и сравнить их.

Прежде чем обратиться к более узким вопросам машинного интеллекта, следует познакомиться с несколькими стратегическими концепциями и соображениями, которые имеют отношение к научному и технологическому развитию в целом.

Предположим, что некое лицо, наделенное властными полномочиями, предлагает прекратить финансирование определенной области исследований, оправдывая это рисками или долгосрочными последствиями, связанными с развитием новой технологии, которая когда-нибудь может появиться в этой области. Естественно, официальное лицо не удивится, если со стороны научного сообщества поднимется ропот недовольства.

Ученые и их защитники часто говорят, что контролировать эволюцию технологий, блокируя исследования, бесполезно. Если технология возможна (говорят они), то она появится независимо от опасений властных лиц по поводу предполагаемых будущих рисков. Действительно, чем большим потенциалом обладает технология, тем с большей уверенностью можно сказать, что кто-то где-то будет мотивирован ее создать. Прекращение финансирования не остановит прогресс и не устранит сопутствующие ему риски.

Интересно, что этот аргумент о бесполезности контроля почти никогда не возникает в тех случаях, когда лица, наделенные властными полномочиями, предлагают увеличить финансирование некоторых областей исследований, несмотря на то что аргумент этот, похоже, обоюдоострый. Не приходилось слышать возмущенных криков: «Пожалуйста, не увеличивайте бюджеты в нашей области. А лучше сократите их. Исследователи в других странах наверняка заполнят пустоту, эта работа так или иначе будет сделана. Не растрачивайте общественные средства на проведение исследований в нашей стране!»

С чем связана такая двойственность? Одно из объяснений, конечно, заключается в том, что у членов научного сообщества проявляется предубеждение в свою пользу, заставляющее нас верить, что исследования — это всегда хорошо, и пытаться использовать практически любые аргументы в пользу повышения их финансирования. Однако возможно также, что двойные стандарты объясняются национальными интересами. Предположим, что развитие некой технологии будет иметь эффект двух типов: небольшую пользу В для ее создателей и страны, которая их финансирует, и гораздо более ощутимый вред Н — вплоть до риска гибели — для всех. Выбор в пользу разработки такой опасной технологии могли бы сделать даже те, кто в целом придерживается альтруистических взглядов. Они могли бы рассуждать следующим образом: вред Н будет нанесен в любом случае, что бы они ни делали, поскольку если не они, то кто-то еще все равно эту технологию создаст; а раз так, то можно было бы хотя бы получить пользу В для себя и своей страны. («К несчастью, скоро появится оружие, которое уничтожит мир. К счастью, мы получили грант на его создание!»)

Чем бы ни объяснялся аргумент о бесполезности контроля, с его помощью невозможно доказать, что с объективной точки зрения отсутствуют причины для попытки контролировать технологическое развитие. Это невозможно доказать, даже если мы допустим истинность вдохновляющей идеи, что в случае неустанных усилий ученых и исследователей в конечном счете все возможные технологии будут созданы — то есть если мы допустим следующее.

Есть как минимум две причины, по которым из гипотезы о технологической полноте не следует аргумент о бесполезности контроля. Во-первых, может не иметь место посыл, поскольку на самом деле нам не дано знать, прекратят ли ученые и исследователи свои усилия (прежде чем будет достигнута технологическая зрелость). Эта оговорка особенно актуальна в контексте, в котором присутствует экзистенциальный риск. Во-вторых, даже если мы уверены, что все важные базовые возможности, которые можно получить при помощи неких технологий, будут получены, все же имеет смысл попытаться влиять на направление исследований. Важно не то, будет ли создана та или иная технология, а то, когда она будет создана, кем и в каком контексте. А на эти обстоятельства рождения новой технологии, определяющие эффект от нее, можно влиять, открывая и закрывая вентиль финансирования (и применяя другие инструменты контроля).

Из этих рассуждений следует принцип, который предполагает, что нам нужно уделять внимание относительной скорости развития различных технологий[535].

Соответственно, любое решение лиц, облеченных властью, можно оценивать исходя из того, насколько оно обеспечивает преимуществами желательные виды технологий по сравнению с нежелательными[536].