Стивен Пинкер, судя по всему, соглашается с тезисом об ортогональности Бострома, когда пишет, что «интеллектуальность есть способность применять новые средства для достижения цели; цели являются внешними для интеллекта как такового»[231]. В то же время он считает неприемлемым, если «ИИ будет столь блистательным, что освоит трансмутацию элементов и перестройку нейронной структуры мозга, и в то же время настолько идиотским, что станет сеять хаос, грубо ошибаясь из-за банального недопонимания»[232]. Он продолжает: «Способность выбирать действие, наиболее подходящее для достижения конфликтующих целей, — это не дополнительная опция, которую инженеры могут позволить себе забыть инсталлировать и протестировать. Это и есть интеллект. Как и способность интерпретировать с учетом контекста намерения пользователя языка». Конечно, «достижение конфликтующих целей» не проблема — это неотъемлемая часть стандартной модели с самого появления теории принятия решений. Проблемой является то, что конфликтующими целями, о которых машина осведомлена, заботы человека не исчерпываются. Более того, в рамках стандартной модели отсутствует утверждение, что машина обязана беспокоиться о целях, о которых ей не велели беспокоиться.

Однако в словах Брукса и Пинкера есть рациональное зерно. Действительно, представляется тупостью с нашей стороны допускать, чтобы машина, скажем, меняла цвет неба в качестве побочного эффекта преследования какой-то другой цели, игнорируя очевидные признаки недовольства людей результатом. Это было бы нашей глупостью, потому что мы ориентированы на то, чтобы замечать недовольство людей, и (обычно) имеем стимул этого избегать — даже если прежде не сознавали, что данным людям не все равно, какого цвета небо. А именно: мы, люди, (1) придаем значение предпочтениям других людей и (2) знаем, что не знаем всех этих предпочтений. В следующей главе я утверждаю, что эти характеристики, будучи встроены в машину, могут стать началом решения «проблемы царя Мидаса».

Возрождение дебатов

В этой главе мы бросили взгляд на дебаты, ведущиеся в широком сообществе интеллектуалов — между теми, кто указывает на риски, которые несет ИИ, и «скептиками», не замечающими особых рисков. Споры ведутся в книгах, блогах, научных статьях, коллективных обсуждениях, интервью, твитах и газетах. Несмотря на отчаянные усилия, скептики — настаивающие, что опасности ИИ пренебрежимо малы, — так и не смогли объяснить, почему сверхинтеллектуальные ИИ-системы обязательно останутся подконтрольными человеку, и даже не попытались указать причины, по которым сверхинтеллектуальные ИИ-системы никогда не будут созданы.

Под нажимом многие скептики признают, что проблема реальна, хотя и не является непосредственной. Скотт Александер в своем блоге Slate Star Codex блестяще это сформулировал[233]:

Я был бы счастлив, если бы скептики предложили неоспоримый аргумент, например, в форме простого, с «защитой от дурака» (и зла) решения проблемы контроля ИИ, но мне это кажется весьма маловероятным — не более вероятным, чем открытие простого, с «защитой от дурака», способа получать ядерную энергию с нулевым риском. Вместо того чтобы все глубже погружаться в нашизм с личными нападками и без конца вспоминать сомнительные аргументы, лучше было бы, по словам Александера, начать работать над некоторыми предварительными аспектами проблемы.

Дебаты выявили хаос, с которым мы имеем дело: если мы создаем машины для оптимизации целей, то цели, которые мы ставим перед машинами, должны соответствовать нашим желаниям. Однако мы не умеем полно и точно сформулировать цели человечества. К счастью, есть золотая середина.

После того как опровергнуты все аргументы скептиков и даны ответы на все «но», обычно следует: «Ладно, я признаю, что проблема существует, но решения-то все равно нет, не так ли?» Не так, решение есть.

Давайте вспомним, какая задача перед нами стоит: создать машины с высоким уровнем интеллектуальности — способные помочь в решении трудных проблем, — в то же время гарантировав, что они никогда не сделают ничего такого, что причинило бы нам серьезные неприятности.

К счастью, это не задача «имея машину, обладающую высоким интеллектом, выяснить, как ее контролировать». Если бы вопрос ставился так, нам пришел бы конец. Машина, воспринимаемая как черный ящик, как данность, с тем же успехом могла бы прибыть из дальнего космоса, а наши шансы контролировать сверхинтеллектуальную сущность из дальнего космоса примерно равны нулю. Аналогичные аргументы применимы к методам создания ИИ-систем, гарантирующих, что мы не будем понимать, как они работают; к этим методам относятся полномасштабное имитационное моделирование головного мозга[234] — создание улучшенных электронных копий человеческого мозга, — а также методы, основанные на моделях эволюции программ[235]. Я не стану далее распространяться об этих предложениях, поскольку очевидно, насколько это плохая идея.

Как специалисты по ИИ подходили в прошлом к решению той части задачи, которая касается «создания машин с высоким уровнем интеллектуальности»? Как и во многих других областях исследований, здесь была принята стандартная модель: мы строим оптимизирующие машины, даем им задачи, и они их решают. Это хорошо работало, когда машины не были продвинутыми, а их действия имели ограниченный охват; если вы ставили неверную цель, то имели хорошие шансы выключить машину, решить проблему и сделать еще одну попытку.

Однако по мере того, как машины, построенные по стандартной модели, становятся более интеллектуальными, а их охват — всемирным, данный подход оказывается несостоятельным. Такие машины будут преследовать собственную цель, какой бы неправильной она ни была; они будут сопротивляться попыткам выключить их; наконец, они будут приобретать все ресурсы, требующиеся для достижения их цели. Действительно, оптимальное поведение для машины может включать введение в заблуждение людей, считающих, что поставили перед машиной рациональную задачу, с тем чтобы получить достаточно времени для достижения той самой заданной ей цели. Это не будет «девиантная» или «вредоносная» активность, требующая сознания и свободы воли; это будет всего лишь часть оптимального плана достижения цели.