Но общественность будет упорно предполагать, что любой черный ящик, который способен проделывать такие штуки (безотносительно последних успехов в области разработки искусственного интеллекта), — это разумный агент, во многом похожий на человека, тогда как на самом деле то, что находится в ящике, — это причудливо нарезанная двумерная ткань, сила которой как раз в том и заключается, что у нее нет надстройки в виде человеческого разума со всеми его особенностями: склонностью отвлекаться, волноваться, испытывать эмоции, переживать воспоминания и строить личные привязанности. Это вообще не гуманоидный робот, а бездумный раб, последняя модель автопилота.

В чем проблема с тем, чтобы передать нудную мыслительную работу таким высокотехнологичным штуковинам? Да ни в чем, при условии, что (1) мы не будем сами себя вводить в заблуждение, и (2) нам как-то удастся не допустить атрофии собственных познавательных навыков.

1. Очень-очень трудно принять свойственные нашим помощникам ограничения и не забывать о них, равно как и не забывать о склонности человека всегда приписывать компьютерам разумность, как мы знаем еще со времен печально известной программы «Элиза», написанной Йозефом Вайценбаумом в 1960-х годах. Это очень опасно, ведь мы всегда будем испытывать желание требовать от них большего, чем то, для чего мы их создали, а также доверять полученным ими результатам, когда этого лучше не делать.

2. Используй или потеряешь. Поскольку мы все сильнее зависим от когнитивных протезов, то рискуем стать беспомощными, если они когда-нибудь перестанут работать. интернет — не разумный агент (ну, в каком-то смысле, может, и разумный), но мы тем не менее стали настолько от него зависеть, что, если бы он вдруг сломался, началась бы такая паника, что общество оказалось бы уничтожено за несколько дней. Кстати, к предупреждению этого события нам надо сейчас приложить все усилия, потому что оно может произойти в любой момент.

Реальная опасность — это не те машины, которые станут умнее нас и узурпируют роль хозяев наших судеб. Реальная опасность — это машины, по сути безмозглые, но наделенные нами полномочиями, значительно превосходящими уровень их компетентности.

Уильям Текумсе Фитч

Преподаватель когнитивной биологии в Венском университете; автор книги «Эволюция языка» (The Evolution of Language)[29]

Несмотря на огромный прирост вычислительной мощности, нынешние компьютеры думают не так, как это делаем мы (или шимпанзе, или собаки). У основанных на кремнии компьютеров отсутствует важнейшая способность органического разума — способность изменять свою материальную форму и, следовательно, свои будущие вычисления в ответ на события, происходящие в мире. Без этой способности (которую в других работах я назвал наноинтенциональностью), с одной только обработкой данных, нельзя получить мысль, потому что у вычисляемых символов и значений отсутствует какая-либо внутренняя причинно-следственная связь с реальным миром. Любая информация, полученная в результате работы кремниевого процессора, нуждается в интерпретации людьми, чтобы обрести значение, и так все останется и в обозримом будущем. У нас мало причин для того, чтобы бояться разумных машин, куда больше их для того, чтобы бояться все более неразумных людей, которые их используют.

В чем именно выражается особенность биологического, а не кремниевого компьютера? Не бойтесь, я не имею в виду какой-то мистический élan vital[30]. Это наблюдаемая, механистическая особенность живых клеток — особенность, которая развилась посредством обычных эволюционных процессов. В моих построениях нет никакой мистики или «незримого духа». По сути, наноинтенциональность — это способность клеток отвечать на изменения в окружающей среде, перестраивая свои молекулы и, таким образом, изменяя форму. Это свойство есть у амебы, хватающей бактерию, у мышечной клетки, повышающей уровень миозина в ответ на пробежку, или (что наиболее актуально) у нейрона, вытягивающего свои дендриты в качестве реакции на локальную нейровычислительную среду. Наноинтенциональность — основная, непреодолимая, бесспорная особенность жизни на Земле, которой нет у печатных кремниевых микросхем, формирующих «сердце» современного компьютера. Поскольку такое физическое различие между мозгом и компьютером — простой и грубый факт, то остается открытым вопрос: насколько большое значение он имеет для более абстрактных философских проблем, касающихся понятий мысли и значения. И тут ситуация становится сложнее.

Философские обсуждения начинаются с утверждения Канта о том, что наш разум неизменно отделен от типичных объектов наших размышлений — физических сущностей в реальном мире. Мы получаем сведения о них (через фотоны, воздушные колебания или испускаемые молекулы), но наш разум/мозг никогда не вступает с ними в прямой контакт. Таким образом, вопрос о том, как можно утверждать, что сущности нашего разума (мысли, убеждения, желания) якобы направлены на вещи в реальном мире, оказывается неожиданно сложен. Действительно, направленность — это центральная проблема в философии сознания, основа многолетней полемики между такими философами, как Деннет, Фодор и Сёрл. Философы несильно помогли внести ясность, назвав эту мнимую умственную направленность интенциональностью (не путать с обычным значением слова в английском языке: «делать что-то нарочно, умышленно»). Вопросы интенциональности тесно связаны с глубинными проблемами феноменологии сознания, часто выражаемыми терминами «квалиа» и «трудная проблема сознания»[31], но они обращены к более простому и фундаментальному вопросу: как может ментальная сущность (мысль — паттерн нервного возбуждения) быть в любом смысле этого слова связана со своим объектом (вещью, которую вы видите, или человеком, о котором вы думаете)?

Вот ответ скептика, солипсиста: такой связи нет, интенциональность — иллюзия. Это заключение ложно по крайней мере в одной важнейшей области (замечание сделано Шопенгауэром 200 лет назад): единственным местом, где ментальные явления (желания и намерения, что инстанцируется в нервном импульсе) вступают в контакт с реальным миром, являются наши собственные тела (например, нейромышечное соединение). Пластичность живой материи в целом и нейронов в частности означает, что петля обратной связи непосредственно соединяет наши мысли с нашими действиям, просачиваясь обратно через восприятие, где влияет на структуру самих нейронов. Петля каждый день замыкается в нашей голове (в самом деле, если вы завтра вспомните хоть что-нибудь об этом эссе, то лишь потому, что некоторые нейроны в вашем мозгу изменили свою форму, ослабив или усилив синапсы, расширив или сократив число связей). Такой контур обратной связи в принципе не может замкнуться в жестком кремниевом чипе. Это биологическое качество обеспечивает умственную деятельность у человека (а также у шимпанзе и собаки) с присущей ей внутренней интенциональностью, которой нет у современных кремниевых вычислительных систем.