7.1.3 Варианты преодоления рисков развития ИИ

В своей знаменитой статье 2000 г. «Почему мы не нужны будущему» (Why the Future Doesn’t Need Us) для издания Wired Джой рисует мрачную картину превращения нашего мира в «серую слизь» [gray goo], что, по его мнению, станет результатом деятельности нанороботов. «Единственной практической альтернативой, которую я вижу, — пишет Джой, — является отказ: надо ограничить развитие слишком опасных технологий путём ограничения нашего стремления к определённым родам знаний»[3100].

Может, действительно стоит ввести ограничения на развитие технологий ИИ, подобные международным договорам о ядерном, биологическом и химическом оружии? По сути, такие договоры можно считать установлением ограничений на развитие физики, биологии и химии в военных целях.

Лично мне такой путь представляется не слишком реалистичным.

Во-первых, развитие технологий сложно ограничивать вообще. На уровне международных договоров можно разве что ввести подобный запрет для отдельных стран. Но, как показала практика, даже небольшая находящаяся в изоляции Северная Корея смогла создать ядерное оружие и ракетно-космическую программу. Поэтому если новая технология действительно может оказаться прорывной, то ведущие государства мира всё равно будут, несмотря на ограничения и запреты, развивать её в секретном режиме, и никто не сможет этому воспрепятствовать.

Во-вторых, неясно, как возможно ограничить развитие ИИ в нынешнее время — ведь развитие этой отрасли не требует каких-либо уникальных ресурсов и доступно многим государствам и компаниям. Не исключено, что универсальный ИИ можно будет создать при помощи машин общего назначения, предназначенных для решения повседневных задач. Поэтому попытки ограничения развития ИИ приведут к тому, что пострадают полезные применения ИИ (медицинское, образовательное и др.), при этом военные исследования как раз не пострадают.

Трудность запрета универсального ИИ подчёркивает в своей книге «Совместимость. Как контролировать искусственный интеллект» (Human Compatible: AI and the Problem of Control) уже знакомый нам профессор Стюарт Рассел:

Прогресс в разработке универсального ИИ достигается главным образом в дискуссиях учёных из исследовательских лабораторий по всему миру, по мере возникновения и решения математических задач. Мы не знаем заранее, какие идеи и уравнения запрещать, и, даже если бы знали, не приходится ожидать, что подобный запрет будет осуществимым или действенным.

Ещё больше осложняет проблему то, что исследователи, двигающие вперёд разработку универсального ИИ, часто работают над чем-то ещё. Как я уже замечал, изучение инструментального ИИ — специализированных безобидных приложений наподобие игровых программ, медицинской диагностики и планирования путешествий — часто ведёт к развитию методов универсального характера, применимых к широкому спектру других задач, и приближает нас к ИИ человеческого уровня.

Рассуждая о возможности свёртывания исследований в области ИИ, Рассел пишет: «Как большинство исследователей ИИ, я содрогаюсь при мысли об этом. Кто смеет указывать мне, о чём можно думать и о чём нельзя? Любой, кто предлагает покончить с изучением ИИ, должен быть очень убедительным. Прекратить исследования ИИ означало бы отказаться не просто от одного из главных путей к пониманию того, как устроен человеческий разум, но и от уникальной возможности улучшить положение человека — создать намного более совершенную цивилизацию. Экономическая ценность ИИ человеческого уровня измеряется в тысячах триллионов долларов, и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпораций и властей. Он пересилит туманные возражения философа, как бы тот ни почитался в качестве «обладателя особого знания», по выражению Батлера»[3101], [3102].

Какой же тогда путь снижения рисков следует избрать?

Надо заметить, что большая часть обеспокоенных экзистенциальными ИИ-рисками учёных не являются сторонниками таких радикальных мер, как введение ограничений на исследования в области ИИ. Тот же Бостром, например, предлагает организовать мониторинг развития в этой области, расширить международное сотрудничество между командами, занимающимися исследованиями в области ИИ (чтобы избежать «гонки вооружений» в этой области). Бостром рекомендует ограничение области принятия решений ИИ-агентами, предлагает различные способы влияния на обучение моделей (например, создание этически выверенных датасетов) и так далее[3103]. Его анализ этой области, безусловно, заслуживает внимания, хотя некоторые его выводы и идеи, на мой взгляд, являются небесспорными.

Ещё с начала 1970-х гг. учёные исследуют так называемую «проблему ограничения свободы» компьютерных программ. В рамках этой парадигмы современные исследователи рассматривают и различные механизмы контроля систем ИИ, близких к сверхинтеллекту. Так, например, Роман Ямпольский, основатель и директор Лаборатории кибербезопасности в Луисвиллском университете (University of Louisville, UofL), в своей работе «Герметизация сингулярности. Проблема ограничения свободы искусственного интеллекта» (Leakproofing the Singularity. Artificial Intelligence Confinement Problem), отталкиваясь от идеи «герметично замкнутой» сингулярности, предложенной австралийским философом Дэвидом Чалмерсом, предлагает конкретный протокол, цель которого — создать безопасную замкнутую среду, способную «ограничить свободу» сверхинтеллекта при его использовании человечеством[3104], [3105].

Если говорить об Илоне Маске, то и он, несмотря на использование вульгарных метафор, не является противником научно-технического прогресса. Маск хоть и высказывается (или даже действует в духе максимы «Не можешь победить — возглавь»), но активно способствует развитию технологий машинного обучения, стремясь скорректировать вектор технологического развития. В 2015 г. он пожертвовал 10 млн долларов волонтёрской организации «Институт будущего жизни» (Future of Life Institute), работа которой направлена на «смягчение рисков, грозящих человечеству в будущем». Эта некоммерческая организация, в частности, занимается исследованием угроз, которые несёт в себе искусственный интеллект[3106]. Осенью того же года Маск вместе с другими предпринимателями и специалистами из Кремниевой долины основал неоднократно упомянутую в книге компанию OpenAI. В число основателей, помимо самого Маска, вошли Сэм Альтман, Грэг Брокман, Джон Шульман, а также уже знакомые нам Илья Суцкевер и Войцех Заремба. Создание компании поддержали Рейд Хоффман — сооснователь компании LinkedIn, Питер Тиль — сооснователь PayPal и Джессика Ливингстон — партнёр-основатель венчурного фонда Y Combinator.

Суммарные стартовые инвестиции в компанию составили миллиард долларов. Цель OpenAI — способствовать повышению открытости разработки в области ИИ. Организация заявляет, что будет «свободно сотрудничать» [freely collaborate] с другими учреждениями и исследователями, сделав свои патенты и исследования открытыми для общественности[3107], [3108], [3109], [3110], [3111], [3112].

Маск и Альтман заявили, что одним из мотивов создания OpenAI стали опасения по поводу экзистенциальных рисков со стороны универсального ИИ [artificial general intelligence][3113], [3114]. OpenAI заявляет: «Трудно представить себе, в какой мере система ИИ человеческого уровня может принести пользу обществу, и столь же трудно понять, насколько она может навредить обществу в случае ошибок, допущенных при её создании, неправильного применения <…> Из-за удивительной истории развития