Знакомя с этими идеями аудиторию технарей, буквально видишь всплывающие над головами присутствующих мысли, начинающиеся словами «Но ведь…» и заканчивающиеся восклицательными знаками.

Частица «но» имеет несколько смыслов. Первый носит характер отрицания. Отрицающие говорят: «Но это не может быть реальной проблемой по причине XYZ». Некоторые из этих XYZ отражают процесс мышления, который, мягко говоря, можно назвать самообольщением, другие более основательны. Второй тип «но» принимает форму уклонения: все верно, проблемы существуют, но не нужно пытаться их решать, потому ли, что они неразрешимы, или потому, что нашего внимания требуют более важные вещи, чем конец цивилизации, или потому, что лучше о них вообще не упоминать. Третьи «но» — упрощенные быстрые решения: «Но почему бы нам просто не сделать АВС?» Как и в случае отрицания, часть этих АВС попросту никчемны, но некоторые, может быть случайно, приближаются к обнаружению истинной природы проблемы.

Я не утверждаю, что в принципе невозможно рационально опровергнуть мысль о том, что неправильно сконструированные сверхинтеллектуальные машины будут представлять собой серьезный риск для человечества. Я всего лишь пока не слышал рациональных возражений. Поскольку вопрос кажется очень важным, он заслуживает публичного обсуждения самого высокого уровня. Итак, поскольку я заинтересован в подобном обсуждении и надеюсь, что читатель примет в нем участие, позвольте мне кратко охарактеризовать основные моменты, какими они видятся на сегодняшний день.

Отрицание того, что проблема вообще существует, — самый простой путь. Скотт Александер, автор блога Slate Star Codex, начал широко известную статью об опасности ИИ[201] такими словами: «Я начал интересоваться рисками, которые несет ИИ, еще в 2007 г. В то время реакцией большинства на эту тему были смех и предложение вернуться к ней, когда в нее поверит хоть кто-нибудь, кроме отдельных интернет-психов».

Попросту никчемные замечания

Воспринимаемая угроза делу всей жизни порой заставляет умнейших и обычно вдумчивых людей говорить нечто, что они предпочли бы исключить из дальнейшего рассмотрения. Поскольку это именно такой случай, я не стану называть имена авторов нижеследующих аргументов. Все они являются известными исследователями ИИ. Я добавил опровержения аргументов, хотя в этом и нет особой необходимости:

• Электронные калькуляторы обладают сверхчеловеческими возможностями в арифметике. Калькуляторы не захватили мир, следовательно, нет причин бояться сверхчеловеческого ИИ.

— Опровержение: интеллектуальность не равна умению производить арифметические действия, и способности калькуляторов производить арифметические действия не дают им возможности захватить мир.

• Лошади обладают сверхчеловеческой силой, но мы не ищем доказательств того, что они для нас неопасны; значит, нам незачем доказывать и безопасность ИИ-систем.

— Опровержение: интеллектуальность не равна физической силе, и сила лошадей не дает им возможности захватить мир.

• В истории имеется ноль случаев убийства машинами миллионов человек; методом индукции приходим к выводу, что это невозможно и в будущем.

— Опровержение: в мире все бывает в первый раз, и первому разу предшествует ноль случаев этого события.

• Никакая физическая величина во Вселенной не может быть бесконечной, в том числе интеллектуальность, следовательно, страхи из-за сверхинтеллектуальности раздуты.

— Опровержение: сверхинтеллектуальность не должна быть бесконечной, чтобы создать проблемы, а физические законы позволяют существование компьютерных устройств в миллиарды раз мощнее человеческого мозга.

• Мы не боимся фатальных для биологической жизни, но крайне маловероятных опасностей вроде материализации черной дыры на околоземной орбите, так почему мы должны бояться сверхинтеллектуального ИИ?

— Опровержение: если бы множество физиков работали над созданием такой черной дыры, неужели мы бы не спросили их, безопасно ли это?

Все не так просто!

Главная тема современной психологии — один только показатель IQ не характеризует всей полноты интеллектуальности человека[202]. У интеллектуальности есть разные измерения, говорят теоретики: пространственное, логическое, лингвистическое, социальное и т. д. Алиса, наша футболистка из главы 2, может иметь лучший пространственный интеллект, чем ее друг Боб, но худший социальный. Таким образом, невозможно выстроить всех людей в строгом порядке по интеллектуальности.

Это еще более справедливо в отношении машин, поскольку их способности намного уже. Поисковая машина Google и программа AlphaGo не имеют почти ничего общего, кроме того, что созданы двумя подразделениями одной корпорации, так что бессмысленно говорить, что одна из них интеллектуальнее другой. Это делает понятие «машинного IQ» сомнительным и заставляет предположить, что было бы заблуждением описывать будущее как простой забег за IQ с участием людей и машин.

Кевин Келли, основатель и редактор журнала Wired и невероятно чуткий техноаналитик, продолжает этот аргумент следующим шагом. В «Мифе о сверхчеловеческом ИИ»[203] он пишет: «Интеллектуальность не одномерна, так что понятие „умнее людей“ бессмысленно». Все тревоги из-за сверхинтеллектуальности отброшены одним ударом.

Очевидно, однако, что машина могла бы превзойти человеческие возможности по всем релевантным параметрам интеллектуальности. В этом случае, даже по строгим стандартам Келли, машина была бы умнее человека. Впрочем, это весьма убедительное предположение необязательно опровергает аргумент Келли. Возьмем, к примеру, шимпанзе. Краткосрочная память у них лучше, чем у людей, что проявляется даже в таких сугубо человеческих задачах, как запоминание последовательности цифр[204]. Краткосрочная память — важный параметр интеллектуальности. Таким образом, согласно аргументации Келли, люди не умнее шимпанзе; его слова аналогичны заявлению, что фраза «умнее, чем шимпанзе» бессмысленна. Слабое утешение для шимпанзе (а также бонобо, горилл, орангутанов, китов, дельфинов и т. д.) — биологических видов, существующих только потому, что мы соизволили им это разрешить! И еще более слабое утешение для видов, которые мы уже уничтожили. Малоутешительно это и для людей, которые опасаются быть уничтоженными машинами.