Алгоритмы обучения с подкреплением, оптимизирующие переходы по ссылкам в социальных сетях, не способны осмыслить поведение человека. В действительности они даже «не знают» в сколько-нибудь разумном понимании этого слова, что люди существуют. Машинам, понимающим человеческую психологию, убеждения и мотивации, будет относительно легко переориентировать нас в направлениях, увеличивающих степень удовлетворения целям машины. Например, она может снизить наше потребление энергии, убедив нас иметь меньше детей, постепенно — и неизбежно — осуществив мечты философов-антинаталистов, мечтающих полностью исключить тлетворное воздействие человечества на природный мир.

Немного практики, и вы научитесь видеть пути, на которых достижение более или менее фиксированной цели может вылиться в произвольные нежелательные результаты. Один из типичных путей — упустить часть цели, в которой вы действительно заинтересованы. В подобных случаях — как в вышеприведенных примерах — ИИ-система часто будет находить оптимальное решение, которое доводит до крайности то, что для вас важно, но о чем вы забыли упомянуть. К примеру, если вы скажете автономному автомобилю: «Доставь меня в аэропорт максимально быстро!» — и он поймет это буквально, то разгонится до 300 км/ч, и вы окажетесь в тюрьме. (К счастью, автомобили в настоящее время не примут такой запрос.) Если вы говорите: «Доставь меня в аэропорт максимально быстро, не нарушая скоростной режим», — он будет предельно быстро разгоняться и тормозить, чтобы в промежутках двигаться с максимальной скоростью, возможно, даже оттеснять другие машины, чтобы выиграть несколько секунд в толчее на въезде в терминал аэропорта. И так далее. Постепенно вы добавите достаточно оговорок, и движение машины примерно сравняется с поведением опытного водителя, везущего в аэропорт пассажира, который боится опоздать.

Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее.

К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели. В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.

Машина, преследующая неверную цель, — это плохо, но бывает и хуже. Решение, предложенное Аланом Тьюрингом, — отключить питание в критический момент — может оказаться недоступным по очень простой причине: невозможно сбегать за кофе, если ты мертв.

Попробую объяснить. Предположим, машина имеет задачу приносить кофе. Если она достаточно интеллектуальна, то, безусловно, поймет, что не выполнит задачу, если будет выключена прежде, чем осуществит свою миссию. Итак, задача подать кофе создает необходимую подзадачу — не допустить отключения. То же самое относится к поиску лекарства от рака или вычислению числа пи. Будучи мертвым, решительно ничего невозможно сделать, поэтому следует ожидать, что ИИ-системы будут действовать на упреждение, оберегая свое существование практически перед любой задачей.

Если эта задача противоречит предпочтениям людей, то мы получаем сюжет «2001: Космическая одиссея», где компьютер HAL 9000 убивает четверых из пяти астронавтов на борту корабля, чтобы исключить вмешательство в свою миссию. Дэйв, последний оставшийся астронавт, ухитряется отключить HAL в эпичной битве умов — полагаю, чтобы сюжет был интересным. Если бы HAL действительно был сверхинтеллектуальным, «отключенным» оказался бы Дэйв.

Важно понимать, что самосохранение никоим образом не должно быть встроенным инстинктом или главной директивой машин. (Следовательно, Третий закон робототехники[193] Айзека Азимова, «Робот должен заботиться о своей безопасности», совершенно излишен.) Во встроенном самосохранении нет необходимости, потому что это инструментальная цель — цель, являющаяся полезной подцелью практически любой исходной задачи[194]. Любая сущность, имеющая определенную задачу, будет автоматически действовать так, как если бы имела и инструментальную цель.

Кроме необходимости быть живым, инструментальной целью в нашей нынешней системе является доступ к деньгам. Так, интеллектуальная машина может хотеть денег не из жадности, а потому что деньги полезны для достижения любых целей. В фильме «Превосходство», когда мозг Джонни Деппа загружается в квантовый суперкомпьютер, первое, что делает машина, — копирует себя на миллионы других компьютеров в интернете, чтобы ее не могли отключить. Второе ее действие — быстро обогащается на биржевых операциях, чтобы финансировать свои экспансионистские планы.

В чем именно заключаются эти планы? Они включают разработку и постройку значительно большего квантового суперкомпьютера, проведение исследований в области ИИ и получение нового знания в физике, нейронауке и биологии. Эти ресурсные задачи — вычислительная мощность, алгоритмы и знание — также являются механизмами, полезными для достижения любой приоритетной цели[195]. Они кажутся довольно безопасными, пока не приходит понимание того, что процесс приобретения будет продолжаться беспредельно. Наконец, машина, вооруженная непрерывно совершенствующимися человеческими моделями принятия решений, разумеется, предвосхитит и отразит любой наш ход в этом конфликте.