ИИ, таким образом, является в своём роде самокастрацией или, если угодно, лоботомией нашего вида, способом существования которого давно стало расширение своих возможностей за счёт создания технологических улучшений своей несовершенной природы.

Любопытно, что за изобретение и популяризацию лоботомии в своё время была присуждена Нобелевская премия. По дорогам США разъезжали лоботомобили, в которых вас могли путём нехитрой манипуляции раз и навсегда избавить от кучи проблем[3127]. Аналогично сторонники запрета ИИ в действительности призывают человечество сделать крайне опасный шаг, куда более опасный, чем многие переоценённые и разрекламированные ИИ-риски, о которых они пишут (нередко отвлекая внимание от реально существующих рисков алгоритмического общества[3128], которыми нужно учиться разумно управлять — что, конечно, куда сложнее и куда как менее эффектно, чем радикальные запретительные меры).

Люди, вооружённые продвинутыми системами аналитики и моделирования, средствами эффективной коммуникации, интеллектуальными средствами обучения и психологической поддержки, платформами для коллективного принятия решений, смогут действовать куда более разумно, чем люди, лишённые всего этого, имеющие в своём багаже лишь иррациональное поведение, связанное с неуправляемой агрессией, когнитивными искажениями, предрассудками, заблуждениями, ограниченностью и так далее. Возможно, нашим спасением от проклятия техноапокалипсиса станет именно технологически улучшенный человеческий интеллект, объединённый с машинами в единую систему, — своего рода «аугментированная прямая демократия». Если же такой новый социотехнологический уклад не возникнет, то нас может ждать глобальная катастрофа. Таким образом, попытки ограничить или запретить развитие технологий ИИ могут создать значительно большие риски, чем появление опасного для человечества сверхразума.

Кроме того, можно заметить, что многие апокалиптические сценарии с участием сверхразумного ИИ в действительности включают систему ИИ лишь в качестве своеобразной вишенки на торте. Ведь машина Бострома для максимизации числа скрепок сможет перемолоть всё человечество лишь в случае наличия разрушительной технологии переделки всего и всех в скрепки, причём эта технология должна быть столь могущественна, что ей не являются помехой никакие контрмеры человечества (некоторые интерпретации этого сценария предполагают, что машина добивается своего, манипулируя людьми, но для такой манипуляции определённо нужен сверхразум, многократно превосходящий человеческий, возможность создания которого мы уже обсудили). Машине, обладающей таким всесокрушающим оружием, вовсе не нужен оператор в виде сверхразума или ИИ-системы человеческого уровня. Устроить катастрофу, обладая такой технологией, могут и сами люди — сознательно или по недомыслию.

Если взять популярный апокалиптический сценарий с системой ИИ, нажимающей на красную ядерную кнопку, то он основан на наличии смертоносного ядерного оружия, созданного десятилетия назад без всякого участия ИИ. Данный сценарий останется вполне валидным, если ядерную кнопку нажимает не система ИИ, а человек или даже обезьяна. Но если кто-то предложит запретить обезьян то вряд ли мы сочтём это предложение адекватным.

Конечно, развитие технологий ИИ является лишь необходимым, а не достаточным условием выживания нашего вида в условиях постоянно растущих техногенных рисков. В какой-то мере наша ситуация похожа на положение, в котором находится человек, быстро идущий по канату над пропастью. Запрет технологий ИИ подобен идее резко остановиться или идее полностью отказаться от наклонов в одну из сторон. Даже если нам хватит ума не предпринимать такие заведомо самоубийственные действия, это вовсе не гарантирует нам того, что наше путешествие завершится благополучно. На этой дороге нас поджидает множество опасностей, которые придётся преодолеть, например: риски, связанные с чрезмерной концентрацией технологической и интеллектуальной мощи в руках немногочисленных национальных и экономических элит (как это показано во множестве дистопий киберпанка), различные диспропорции и недостаточная открытость обществу в развитии технологий, неразумные и безответственные попытки их регулирования (подобно тому, как в техно-опере Виктора Аргонова «2032: легенда о несбывшемся грядущем» попытка идеологической индоктринации АСГУ — Автоматической системы государственного управления — приводит к ошибкам в её решениях и к разрушительной для человечества войне[3129]) и так далее.

Система ИИ как элемент технологической катастрофы — это скорее дань моде: истории с участием ИИ продаются лучше, точно так же, как детективы с Шерлоком Холмсом или Натом Пинкертоном в годы популярности этих великих сыщиков продавались лучше обычных детективов.

Разумеется, все эти соображения не означают, что следует беспечно относиться к проблеме технологических рисков (включая и специфические ИИ-риски). Любая достаточно мощная технология требует известной осторожности в обращении — это относится и к энергии пара, и к атомной энергии, и к электричеству, и к «новому электричеству». Малая вероятность глобальной катастрофы не означает, что невозможны катастрофы локальные. Сколько людей погибло и погибает до сих пор из-за неудачного использования машин? Люди гибнут на производстве, в автоавариях, из-за неосторожного обращения с теми или иными инструментами. История знает много примеров техногенных аварий и катастроф. Хотя смерти людей из-за дефектов в программном обеспечении пока что экзотика, игнорировать их нельзя. Из-за халатности разработчиков программного обеспечения машины, убивающие людей вопреки воле своих создателей, уже были опробованы в деле. Одним из наиболее ярких примеров таких машин стал Therac-25 — аппарат лучевой терапии, созданный в 1982 г. канадской государственной корпорацией Atomic Energy of Canada Limited. С июня 1985 г. по январь 1987 г. этот аппарат стал причиной как минимум шести случаев многократного превышения дозы излучения, полученной пациентами в ходе терапии, при этом некоторые из них получили дозы в десятки тысяч рад. Как минимум два человека умерли от непосредственного воздействия радиации. Причиной трагедии стали ошибки в программном обеспечении аппарата[3130], [3131].

Также можно вспомнить авиакатастрофы с самолётами Boeing 737 серии MAX 8: причиной стала ошибочная работа программного обеспечения самолёта MCAS (Maneuvering Characteristics Augmentation System, система повышения маневренных характеристик). Как показало расследование, компания Boeing скрывала сам факт существования данной системы, чтобы избежать расходов по сертификации модели MAX 8 как нового самолёта. В результате в случае неверных показаний датчика угла атаки система MCAS предпринимала неверные и неожиданные для пилотов действия по опусканию носа самолёта и препятствовала попыткам экипажа исправить ситуацию[3132]. Следствием этого стали две авиакатастрофы в 2018 и 2019 гг., унесшие жизни 346 человек.

В целом количество смертей в результате техногенных аварий и катастроф многократно уступает числу жертв войн. Злонамеренный человеческий разум причиняет людям куда больше горя и страданий, чем ошибки проектирования техники. Это наводит на мысль, что создаваемые людьми системы ИИ будут представлять опасность скорее не в результате чьих-то ошибок, а в результате намеренного придания таким системам функций оружия. Боевые системы на базе ИИ необязательно должны быть особенно умны, чтобы представлять серьёзную опасность. Им вполне достаточно сочетания интеллекта примитивного организма с нечеловеческой скоростью реакции и разрушительной силой современного оружия. Именно поэтому, несмотря на то что универсальный искусственный интеллект ещё не создан, существующие наработки в области машинного