Мы уже упоминали физические лимиты, не позволяющие бесконечно наращивать скорость вычислений, — это лимиты Бремерманна и Ландауэра. Казалось бы, наши вычислительные устройства всё ещё далеки от этих пределов. Далёк от них и человеческий мозг. Однако важная особенность заключается в том, что многие интеллектуальные задачи относятся к классу сложности EXPTIME-complete, то есть время, необходимое для их решения, является экспоненциальной функцией от размерности задачи. Ввиду этого ускорение системы в несколько раз даёт лишь фиксированный, а не кратный прирост «интеллекта» (измеренного по некой условной шкале).

При этом, скорее всего, даже такой результат будет достигнут лишь в лучшем случае. Как показала практика разработки игр (а игры — это упрощённые модели реальности), часто наблюдается явление, получившее название «закон уменьшающейся полезности» [law of diminishing returns]: по мере продвижения к цели одинаковый прирост усилий даёт всё меньшую отдачу. Например, шахматная программа с фиксированной глубиной перебора вариантов получает куда больший прирост в силе игры при увеличении глубины перебора с одного до двух полуходов, чем при увеличении глубины перебора, скажем, с 10 до 11 полуходов[3125]. Таким образом, постоянное ускорение системы в несколько раз может даже и не обеспечивать постоянного «константного поумнения».

Конечно, за скобками наших рассуждений остаётся вопрос об эффективности применяемого алгоритма. Можно ли создать алгоритм для универсального ИИ, существенно превосходящий алгоритм мышления человека? К сожалению, у нас пока нет ответа на этот вопрос, поскольку нет иных примеров универсального интеллекта, кроме интеллекта человека. Мышление человека есть результат эволюции, способствующей приспособлению человеческих особей к среде их обитания. Это приспособление к среде обычно связано с решением определённого спектра задач. Причём многие из них, решавшиеся нашими предками на протяжении тысячелетий и оказавшие значимое влияние на то, как мы в принципе думаем, были бесконечно далеки от тех, что человечество ставит перед собой и системами ИИ сегодня. Вероятно, исследователи будущего смогут создать системы, более приспособленные для решения актуального круга задач по сравнению с человеческим мозгом, и тогда можно будет сказать, что в этом случае человеческий мозг обладает рядом существенных изъянов. Тут можно вспомнить фразу Гельмгольца: «Я счёл бы себя вправе самым резким образом выразиться о небрежности работы оптика и возвратить ему прибор с протестом, если бы он вздумал продать мне инструмент, обладающий такими недостатками, как человеческий глаз». Но несмотря на это, важно понимать, что человеческий мозг является продуктом длительного и масштабного оптимизационного процесса, в ходе которого он сталкивался с довольно разнообразными вызовами, что позволяет предположить его близость к оптимуму при решении весьма сложных и разнообразных задач.

Поэтому, по всей видимости, даже несмотря на весьма вероятное появление более эффективных алгоритмов мышления, вместо экспоненциального «интеллектуального взрыва» мы имеем все шансы получить асимптотически приближающуюся к некоторому пределу кривую.

Исходя из вышеизложенных ограничений, мы имеем серьёзные основания полагать, что возникновение сверхразума невозможно. При этом наверняка уровень человеческого интеллекта будет превзойдён — то есть созданная система будет способна более быстро и эффективно решать задачи, подвластные человеческому мышлению. Насколько это опасно? Представьте себе, что вы внезапно начали думать в сто раз быстрее остальных людей. Это позволит вам быстрее выполнять вашу работу, быстрее выучивать что-то новое, но не позволит вам подчинять других людей своей воле и захватить власть над миром.

Следующим недостатком рассуждений об опасностях, связанных с созданием сверхразума, является классическая ошибка в области риск-менеджмента — отсутствие анализа альтернативных сценариев и ассоциированных с ними опасностей. Алармисты рассматривают риски, связанные с потенциальным разрушительным воздействием ИИ, но при этом игнорируют риски, связанные с попыткой ограничить или даже остановить прогресс в этой области. Если ваш путь пролегает через реку, а мост через неё может с вероятностью один на сто миллиардов не выдержать вас, то значит ли это, что следует преодолевать реку вплавь?

Победа неолуддитов, результатом которой может стать существенное ограничение исследований в области ИИ, а также применения соответствующих технологий, потенциально может нанести куда более значительный вред, чем возможные негативные последствия применения самих технологий. Системы ИИ могут быть успешным инструментом для борьбы с существующими или новыми технологическими рисками (например, на транспорте, в опасных производствах), эффективно применяться в медицине, в деле охраны общественного порядка, в сфере воспитания и образования людей. Вообще они способны поднять качество принимаемых решений во множестве сфер человеческой деятельности, в том числе таких решений, которые связаны с огромными рисками. Тем самым технологии ИИ способны спасти множество человеческих жизней и улучшить уровень всеобщего счастья.

Как оценить эффект от запрета развития таких технологий?

Если рассуждать о технологических рисках, то можно заметить, что технологическое могущество человечества возрастает чрезвычайно быстрыми темпами, что приводит к эффекту, который я называю «удешевлением апокалипсиса». 150 лет назад при всём желании человечество не могло нанести ни биосфере, ни себе как виду невосполнимого урона. Для реализации катастрофического сценария 50 лет назад необходимо было бы сконцентрировать всю технологическую мощь ведущих мировых держав. Завтра для воплощения в жизнь глобальной техногенной катастрофы может хватить и небольшой горстки фанатиков. Наша технологическая мощь растёт куда быстрее, чем наша способность эту мощь контролировать. Продвинутая химия, технологии ядерного распада и синтеза, передовые биотехнологии и так далее — человечество развивает все эти направления с огромной скоростью, создавая всё больше и больше возможностей в манипуляции силами природы. При этом способность разумно распорядиться этим могуществом растёт не такими впечатляющими темпами — биологическая эволюция не может быстро сделать нас умнее (если вообще ведёт к нашему поумнению).

Именно об этой проблеме говорил в ходе своей последней пресс-конференции Станислав Лем: «У каждой технологии есть свой аверс и свой реверс: иными словами, её можно использовать совершенно по-разному. Риск, сопутствующий внедрению новых технологий, действительно, очень серьёзен и, вероятно, неизбежен. Однако я бы сказал, что куда большие угрозы дремлют в нас самих: человек имеет болезненную склонность к использованию технологических достижений против самого себя. Не случайно, что множество открытий было совершено для нужд гонки вооружений. Когда-то я сравнил современного человека с хищной обезьяной, которой вложили в руку бритву. Это сравнение нисколько не утратило своей актуальности, разве что обезьяна сделалась ещё более алчной»[3126].

Развитие технологий ИИ является в некотором роде ответом на медлительность нашей эволюции. Подобно тому, как одежда или, скажем, ножи являются «усовершенствованиями» наших тел, от рождения лишённых тёплого меха или острых когтей, системы ИИ раздвигают границы нашего разума. Текстовый редактор, поисковая система, смартфон, базы знаний и, наконец, продвинутые нейросетевые модели — это всё продолжение нас, нашего интеллекта, нашей культуры, это компоненты синтетического человеко-машинного интеллекта. Запрет технологий