людей (проблема выравнивания ценностей, обобщенная Винером). Обе эти угрозы кажутся мне химерическими, порожденными узкотехнологическим детерминизмом, который пренебрегает сетями информации и управления в интеллектуальных системах, наподобие компьютера, человеческого мозга или человеческого же общества.

Страх перед подчинением коренится в скверно прописанной концепции интеллекта, которая больше восходит к Великой Цепи Бытия и ницшеанской воле к власти, чем к винерскому анализу интеллекта и цели с точки зрения информации, вычислений и контроля. В этих жутких сценариях интеллект изображается как всесильное, подвластное страстям нечто, в разной степени присущее его носителям. У людей его больше, чем у животных, а у искусственного интеллектуального компьютера или робота будет больше, чем у людей. Поскольку мы, люди, использовали свой умеренный объем интеллекта для одомашнивания или истребления менее разумных животных (и поскольку технологически развитые общества обыкновенно порабощают или уничтожают технологически примитивные), отсюда делается вывод, что сверхразумный ИИ поступит с нами точно так же. Раз ИИ будет мыслить в миллионы раз быстрее нас и воспользуется своим суперинтеллектом для рекурсивного улучшения своего сверхразума, то, стоит включить, его уже будет не остановить.

Но эти сценарии основываются на путанице, на смешении интеллекта с мотивацией, убеждений с желаниями, умозаключений с целями, вычислений, описанных Тьюрингом, и контроля, описанного Винером. Даже изобрети мы однажды сверхчеловечески разумных роботов, зачем им желать порабощения своих хозяев или покорения мира? Интеллект есть способность применять новые средства для достижения цели. Но сами цели ставятся независимо от интеллекта: быть умным – не то же самое, что чего-то хотеть. Так уж вышло, что интеллект Homo Sapiens является продуктом дарвиновского естественного отбора, который, по сути, представляет собой процесс конкуренции. В нашем мозге мышление связано с такими целями, как доминирование над конкурентами и накопление ресурсов. Но будет ошибкой принимать участок в лимбической системе определенного вида приматов за интеллект как таковой. Нет такого закона сложных систем, который гласил бы, что интеллектуальные агенты обязательно превращаются в безжалостных мегаломаньяков.

Второе заблуждение состоит в том, чтобы воспринимать интеллект как безграничный континуум возможностей, как чудесный эликсир, способный решить любую проблему и достичь любой цели. Это заблуждение приводит к бессмысленным вопросам – скажем, когда «ИИ превзойдет человеческий уровень мышления», – и порождает фантазии о богоподобном «общем искусственном интеллекте» (ОИИ), всеведущем и всемогущем. На самом деле интеллект есть совокупность гаджетов, программных модулей, которые усваивают (через программирование) знания о том, как добиваться различных целей в разных случаях. Умеют находить пропитание, завоевывать друзей и оказывать влияние на других[96], выстраивать отношения с будущими партнерами по браку, воспитывать детей, перемещаться по миру и преследовать другие человеческие цели и развлекаться. Компьютеры можно запрограммировать на решение ряда перечисленных задач (например, на распознавание лиц) и проигнорировать часть из них (то же умение очаровывать будущую жену), а также на решение задач, неподвластных людям (скажем, моделирование климата или сортировка миллионов учетных записей). Задачи, как видим, различны – и различны знания, необходимые для их решения.

Однако вместо того, чтобы признать значимость знания для интеллекта, антиутопические сценарии уподобляют общий искусственный интеллект будущего демону Лапласа, мифическому существу, которому ведомы положение и скорость каждой частицы во Вселенной и которое вставляет эти параметры в уравнения, выражающие физические законы, чтобы рассчитывать состояния всего на свете в любой момент в будущем. По многим причинам демона Лапласа никогда не воссоздать в кремнии. Реальная интеллектуальная система должна получать информацию о беспорядочном мире объектов и людей, взаимодействуя с одной областью одновременно, причем длительность цикла взаимодействия определяется скоростью, с которой разворачиваются события в физическом мире. Это одна из причин того, почему понимание не подчиняется закону Мура: знание приобретается путем формулирования объяснений и проверки на соответствие реальности, а не ускорением выполнения алгоритма. Поглощение информации из интернета также не принесет всеведения: большие данные по-прежнему конечны, зато вселенная знаний бесконечна.

Третья причина скептического отношения к фантазиям о внезапном господстве ИИ над миром заключается в том, что мы слишком уж всерьез воспринимаем инфляционную фазу той шумихи, которая нас сегодня окружает. Несмотря на несомненный прогресс в машинном обучении, особенно в области многослойных искусственных нейронных сетей, современные системы искусственного интеллекта далеки от уровня общего интеллекта (даже если допустить обоснованность этой концепции). Они ограничиваются выполнением задач, связанных с обработкой четко заданных входных данных и выведением строго сформулированных ответов там, где доступны «обучающие наборы» информации гигантского масштаба, где успех опознается немедленно и точно, где среда обработки не изменяется и где нет необходимости в ступенчатых, иерархических или абстрактных рассуждениях. Многие успехи ИИ достигнуты не благодаря лучшему пониманию работы интеллекта, а благодаря мощности более быстрых микросхем и большим данным, позволяющим обучать машины на миллионах примеров и обобщать результаты для новых данных. Каждая система представляет собой невежественного мудреца, малоспособного справляться с вызовами, решения которых не предусматривалось ее программистами, и едва способного на решение задач, под которые ее создавали. Скажу банальность – ни одна из этих систем не пыталась захватить лабораторию или поработить программистов.

Даже вздумай система искусственного интеллекта проявить волю к власти, без сотрудничества людей она останется бессильным мозгом в чане. Суперинтеллектуальная система в своем стремлении к самосовершенствованию должна каким-то образом создавать более быстрые процессоры для работы, моделировать инфраструктуру питания и изготавливать роботизированные устройства для контакта с миром; все это невозможно, если потенциальные жертвы-люди не передадут ей контроль над обширными секторами инженерного пространства. Конечно, всегда можно вообразить некий компьютер Судного дня, злонамеренный, наделенный универсальными возможностями, всегда включенный и защищенный от несанкционированного доступа. Способ борьбы с этой угрозой прост: не создавайте такой компьютер.

А что насчет новой угрозы ИИ, проблемы выравнивания ценностей, которую Винер описывает в притчах об обезьяньей лапке, джинне и царе Мидасе? Суть проблемы в том, что желающий начинает сожалеть о непредвиденных побочных эффектах своего желания. Опасаются, что мы поставим перед системой ИИ некую цель, а затем нам придется беспомощно стоять в стороне и наблюдать, как система неуклонно и буквально реализует собственную интерпретацию этой цели, игнорируя все другие наши интересы. Если поставить ИИ цель поддержания конкретного уровня воды в водохранилище, система способна затопить город, не заботясь о людях, которые в нем живут. Если поставить перед ней цель производить скрепки для бумаг, она может превратить в скрепки всю материю в достижимой части Вселенной, в том числе наше имущество и наши тела. Если попросить ИИ максимизировать человеческое счастье, он способен влить в нас все произведенные запасы дофамина внутривенно или «перемонтировать» мозг, чтобы нам доставляло счастье сидеть в кувшинах, или, если его научили представлению о счастье через изображения улыбающихся