Это, пожалуй, первое размышление об экзистенциальном риске, сопутствующем вычислительным устройствам, но оно осталось незамеченным.

Напротив, роман Сэмюэла Батлера «Эдгин», изданный в 1872 г., разработал эту тему с большой глубиной и сразу завоевал популярность. Эдгин — страна, где были запрещены все механические устройства после ужасной гражданской войны между сторонниками и противниками машин. В одной из частей романа, «Книге машин», объясняется причина этой войны и приводятся аргументы обеих сторон[187]. Это жутковатое предвидение споров, вновь вспыхнувших в первые годы XXI в.

Главный аргумент противников машин — машины разовьются настолько, что человечество утратит контроль над ними:

Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины, которое мы рассмотрим в следующей главе.

Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».

Известно, что роман Батлера был знаком Алану Тьюрингу, рассмотревшему долгосрочное будущее ИИ в лекции, с которой выступил в Манчестере в 1951 г.[188]:

В том же году Тьюринг повторил эти опасения в лекции по радио, транслировавшейся на всю Великобританию Третьей программой Би-би-си:

Когда противники машин из Эдгина «почувствовали серьезные опасения за будущее», то сочли своим «долгом покончить со злом, пока это еще возможно» и уничтожили все машины. Ответ Тьюринга на «новую опасность» и «тревогу» — подумать о том, чтобы «отключить питание» (хотя вскоре станет очевидно, что это на самом деле не выход). В классическом научно-фантастическом романе Фрэнка Герберта «Дюна», действие которого происходит в далеком будущем, человечество чудом пережило Батлерианский джихад, катастрофическую войну с «мыслящими машинами». Возникает новая заповедь: «Не делай машину подобием человеческого разума». Эта заповедь запрещает любые вычислительные устройства.

Все эти радикальные реакции отражают рудиментарные страхи перед машинным разумом. Да, от перспективы появления сверхинтеллектуальных машин становится не по себе. Да, логически возможно, что такие машины могут захватить власть над миром и подчинить или уничтожить человеческую расу. Если это единственное, что нам светит, тогда, действительно, единственный разумный ответ, доступный нам в настоящее время, — это попытаться свернуть исследования в области ИИ, а именно запретить разработку и использование универсальных ИИ-систем человеческого уровня.

Как большинство исследователей ИИ, я содрогаюсь при мысли об этом. Кто смеет указывать мне, о чем можно думать и о чем нельзя? Любой, кто предлагает покончить с изучением ИИ, должен быть очень убедительным. Прекратить исследования ИИ означало бы отказаться не просто от одного из главных путей к пониманию того, как устроен человеческий разум, но и от уникальной возможности улучшить положение человека — создать намного более совершенную цивилизацию. Экономическая ценность ИИ человеческого уровня измеряется в тысячах триллионов долларов, и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпораций и властей. Он пересилит туманные возражения философа, как бы тот ни почитался в качестве «обладателя особого знания», по выражению Батлера.

Второе возражение против идеи запрета универсального ИИ — его трудно запретить. Прогресс в разработке универсального ИИ достигается, главным образом, в дискуссиях ученых из исследовательских лабораторий по всему миру, по мере возникновения и решения математических задач. Мы не знаем заранее, какие идеи и уравнения запрещать, и, даже если бы знали, не приходится ожидать, что подобный запрет будет осуществимым или действенным.

Еще больше осложняет проблему то, что исследователи, двигающие вперед разработку универсального ИИ, часто работают над чем-то еще. Как я уже замечал, изучение инструментального ИИ — специализированных безобидных приложений наподобие игровых программ, медицинской диагностики и планирования путешествий — часто ведет к развитию методов универсального характера, применимых к широкому спектру других задач, и приближает нас к ИИ человеческого уровня.