ИИ трудно предсказать, когда ИИ человеческого уровня окажется в пределах досягаемости»[3115]. OpenAI заявляет, что ИИ «должен воплощать желания людей и в соответствии с духом свободы должен быть как можно более широко и равномерно распределённым…»[3116]

В связи с этим возникает риторический вопрос: «Действительно ли мы готовы позволить проникнуть в наше общество автономным программным и аппаратным агентам, детали работы которых известны лишь немногим избранным? Конечно, нет»[3117].

Альтман ожидает, что рассчитанный на десятилетия проект позволит создать системы ИИ, превосходящие людей в интеллектуальном плане[3118].

Однако возможность реализации контринтуитивной стратегии Маска и Альтмана, направленной на снижение рисков развития ИИ путём предоставления возможностей ИИ как можно большему числу людей, вызывает сомнения у более радикально настроенных «алармистов». Например, Бостром полагает, что в ситуации «плохой кнопки» основатели OpenAI изменят своей стратегии и не будут её раздавать всем («Если у вас будет кнопка, которая может причинить вред миру, вы не захотите дать её всем»)[3119]. Масло в огонь подлил факт выдачи лицензии компании Microsoft на использование GPT-3 в её собственных продуктах и сервисах. И хотя OpenAI и заявила, что «сделка не повлияет на дальнейший доступ [пользователей] к модели GPT-3 через API OpenAI»[3120], у многих людей возник вполне резонный вопрос: значит ли это, что OpenAI будет руководствоваться в предоставлении доступа к передовым разработкам в области ИИ чисто коммерческой логикой, усиливая тем самым доминирование крупных корпораций в обществе? И насколько такая логика сочетается с декларированными OpenAI лозунгами о демократизации ИИ и снижении ИИ-рисков за счёт расширения доступа к технологиям?

Есть ещё одно из направлений деятельности Маска, которое в некоторой степени связано с проблемой ИИ-рисков. Речь идёт о компании Neuralink, делящей с OpenAI здание Pioneer Building в Сан-Франциско. Эта компания специализируется на исследованиях в области интерфейсов «машина — мозг» (Brain Computer Interfaces, BCI), что по замыслу позволит людям тесно интегрироваться с будущими системами ИИ[3121]. Можно сказать, что они стремятся сделать человечество частью будущего сверхразума, чтобы оно смогло избежать роли тупиковой ветви эволюции.

Идеи, подобные идеям Маска, высказывают и другие известные предприниматели из сферы информационных технологий. Например, основатель компании Microsoft Билл Гейтс формулирует свои взгляды следующим образом: «Я принадлежу к лагерю тех, кто озабочен возникновением сверхинтеллекта. Сначала машины будут делать для нас много полезной работы и не будут обладать сверхинтеллектом. Это будет позитивным явлением, если мы нормально управляем процессом. Однако через несколько десятилетий ИИ станет достаточно сильным, чтобы вызвать беспокойство. Я согласен с Илоном Маском и другими на этот счёт и не понимаю, почему некоторые люди не чувствуют такого же беспокойства»[3122]. При этом Билл Гейтс поясняет, что не пытается притормозить научно-технический прогресс, а всего лишь хочет привлечь внимание к двум потенциальным проблемам: 1) ИИ начинает выполнять работу, к которой привыкли люди; 2) универсальный ИИ может эволюционировать в состояние, «конфликтующее с целями человеческих систем»[3123].

В целом, анализируя мнения учёных и бизнесменов относительно ИИ-рисков, заметно, что в действительности между взглядами, скажем, Бострома и Цукерберга, Маска и Ына мы не находим никакой зияющей пропасти. Даже Бостром, заслуживший себе репутацию алармиста, весьма далёк от идей Батлера. Набор мер, предлагаемый Бостромом, вовсе не предполагает «возврата в пещеры» и даже запрета развития ИИ.

Если рассматривать позицию представителей противоположного лагеря, взяв в качестве примера, скажем, Марка Цукерберга, то его взгляды на деле далеки от шапкозакидательского оптимизма. Даже в неформальных рассуждениях на тему ИИ-рисков за приготовлением говяжьих рёбрышек видно, что он вовсе не отрицает наличия этих рисков и необходимости принимать их в расчёт[3124]. На поверку вопрос об ИИ-рисках становится вопросом меры: как мы оцениваем те или иные риски? Когда и в какой мере следует уделять им внимание? Какие из них переоценены, а какие недооценены в глазах общественности?

Анализируя опасения, высказываемые в отношении развития ИИ, можно выделить несколько групп рисков, безусловно заслуживающих более подробного рассмотрения. Давайте попробуем приглядеться к этим группам поближе, чтобы лучше понять все pro et contra в отношении их серьёзности.

7.2 Сверхразум: реальные и мнимые опасности

— Ну? Тем более!

— Сверхразум — это сверхдобро, — сказал Тойво.

— Ну? Тем более!

— Нет, — сказал Тойво. — Никаких «тем более». Что такое добро мы знаем, да и то не очень твёрдо. А вот что такое сверхдобро…

Ася снова ударила себя кулачками по коленкам.

— Не понимаю! Уму непостижимо! Откуда у вас эта презумпция угрозы? Объясни, втолкуй!

— Вы все совершенно неправильно понимаете нашу установку, — сказал Тойво, уже злясь. — Никто не считает, будто Странники стремятся причинить землянам зло. Это действительно чрезвычайно маловероятно. Другого мы боимся, другого! Мы боимся, что они начнут творить здесь добро, как они его понимают!

Аркадий и Борис Стругацкие. Волны гасят ветер

Наверное, самый популярный катастрофический сценарий, предполагающий участие ИИ, — это появление опасного для человечества сверхразума (сверхинтеллекта). Его опасность для людей может заключаться в том, что интересы этого разума могут плохо соотноситься с интересами человечества, что обычно называют «проблемой выравнивания» [alignment problem]. Такое трагическое расхождение с ценностями человечества гипотетически может возникнуть как в результате ошибок при программировании системы, так и в процессе саморазвития (самообучения) сверхразума. Причём это может оказаться проблемой в духе Стругацких: беда будет не в том, что машина захочет причинить людям зло, напротив, она может стремиться сделать людям добро, но так, как она его понимает, и далеко не факт, что это представление машины о добре понравится людям.

История с нежелательными для нас действиями сверхразума хороша практически всем: здесь есть конфликт, историю несложно насытить различными драматическими деталями, на её основе можно построить как боевик (с несколькими сиквелами; пример — тот же «Терминатор»), так и психологический триллер.

Однако у неё есть и серьёзные недостатки.

Начнём с того, что для воплощения этого сценария необходимо появление сверхразума. Казалось бы, мы уже знаем, какой гипотетический процесс может привести к возникновению такой системы — это уже упомянутый нами «интеллектуальный взрыв», то есть некоторая самообучающаяся система в процессе обучения совершенствует саму себя, тем самым увеличивает эффективность этого самообучения, а далее возникновение петли с положительной обратной связью неизбежно приводит к появлению сверхинтеллекта, возможно превосходящего людей даже сильнее, чем люди превосходят муравьёв.

Однако не исключено, что наша Вселенная содержит ряд фундаментальных физических ограничений, которые могут сделать создание сверхинтеллекта невозможным.