Но решающим шагом к эго-машине станет следующий. Если система сможет вписать в эту феноменальную реальность столь же транспарентный внутренний образ себя, она явится сама себе. Она станет эго-машиной и наивным реалистом в отношении всего, что говорит ей я-модель о себе. Наша эго-машина как бы «приклеится» к я-модели и поэтому отождествится с ней. Тогда искусственная система обретет феноменальное свойство самости, и она будет явлена себе не только как кто-то, но еще и как кто-то, пребывающий здесь. Система поверит в себя.

Обратите внимание, что этот переход превращает систему в объект моральных отношений. Теперь она потенциально способна страдать. Боль, отрицательные эмоции и прочие внутренние состояния, представляющие часть реальности как нежелательную, могут выступать причиной страданий только в том случае, если ими осознанно обладают. Система, не явленная себе, не может страдать, потому что не имеет чувства обладания. Система, в которой свет включен, но дома никого нет, не может быть объектом этических соображений; если у нее имеется минимальная осознаваемая модель мира, но нет я-модели, мы в любой момент вправе вытащить вилку из розетки. А вот эго-машина может страдать, поскольку интегрирует болевые сигналы, состояния эмоционального расстройства и негативные мысли в свою транспарентную я-модель, после чего они становятся чьими-то негативными ощущениями или болью. Идентификация как бы прочно встроена, вынужденная эволюцией. Тут встает важный вопрос этики животных: сколько из сознающих биосистем нашей планеты – всего лишь машины феноменальной реальности, а сколько из них – настоящие эго-машины? Сколько из них – и это главный пункт, о котором идет речь, – способны к осознанно переживаемому страданию? Относится ли к таким роботаракан? Или только млекопитающие, такие как макаки и котята, приносимые в жертву научным исследованиям? Очевидно, если этот вопрос не поддается решению на эпистемологических или эмпирических основаниях, излишняя осторожность всегда лучше, чем недостаточная. Так же, как и в случае с ядерной энергией, речь идет о том, чтобы минимизировать риск, который хоть и невелик, но простирается на очень долгое время. Именно на этой стадии развитие всякой теории сознающего разума становится объектом этики и философии морали.

Эго-машина обладает еще и перспективой. Ее базовая версия должна, во всяком случае, также знать, что у нее есть перспектива за счет осознания факта, что она направлена. У нее должна быть способность к развитию внутренней картины динамических отношений с другими существами или объектами во внутренней или внешней среде, едва они попадут в ее поле восприятия или вступят во взаимодействие. Если нам удастся построить системы такого типа или дать им развиться, то они будут воспринимать себя взаимодействующими с миром – например, направляющими внимание на яблоко в руке или формирующими мысль о человеке как действующем лице, с которым система в этот момент общается. Она будет воспринимать себя направленной на определенные целевые состояния, представленные в ее я-модели. Она будет воспринимать мир таким, который включает в себя не просто Я, а и воспринимающее, взаимодействующее целенаправленное активное лицо. Она даже может иметь на высоком уровне концепцию себя как субъекта знания и опыта. В четвертой главе мы увидели, что по-настоящему интересная форма субъективности возникает именно тогда, когда система репрезентирует себя репрезентирующей.

Все, что можно репрезентировать (представить), можно реализовать. Описанные выше шаги описывают новые формы того, что философы называют репрезентационным контентом, и нет причин, по которым бы этот контент должен быть доступен только живым системам. Известный математик Алан М. Тьюринг в своей знаменитой работе 1950 года «Вычислительные машины и разум» выдвинул аргумент, позже подхваченный выдающимся философом Карлом Поппером в книге «Самость и ее мозг», написанной им в соавторстве с нобелевским лауреатом, нейроученым сэром Джоном Экклзом. Поппер писал: «Тьюринг (1950) сказал приблизительно так: точно определите, в чем, по-вашему, человек превосходит компьютер, и я построю компьютер, который опровергнет вашу уверенность. Не стоит принимать вызов Тьюринга: в принципе, любая достаточно точная спецификация может быть запрограммирована»6.

Конечно, это не «я» использует мозг (как думал Поппер) – а мозг использует я-модель. Но что ясно видел Поппер, так это диалектику искусственной эго-машины: либо вы не можете точно определить, что именно из человеческого сознания и субъективности невозможно ввести в искусственную систему, либо, если это определено, вопрос лишь в составлении алгоритма и написании программы. В 1922 году Людвиг Витгенштейн писал в предисловии к «Логико-философскому трактату»: «Все то, что может быть сказано, должно быть сказано ясно». Если у вас есть точное определение сознания и субъективности в каузальных терминах, значит, у вас есть то, что философы называют «функциональный анализ». С этого момента тайна испаряется, и искусственная эго-машина становится в принципе технологически достижимой. Но следует ли делать то, что мы сделать можем?

Рассмотрим мысленный эксперимент, направленный не на философию, а на этику. Представьте, что вы член комиссии по этике, рассматривающей заявку на научный грант. В ней говорится:

Мы собираемся использовать генную инженерию для выращивания умственно отсталых человеческих младенцев. Насущные научные основания требуют породить младенцев с определенным дефицитом мыслительной и эмоциональной сферы, а также с ослабленными органами чувств. Важная новаторская экспериментальная стратегия требует контролируемого и воспроизводимого эксперимента по раннему развитию ущербных человеческих младенцев. Это важно не только для понимания работы мозга, но и для лечения психических заболеваний. Поэтому мы настоятельно нуждаемся в щедром финансировании.

Вы, без сомнения, сразу сочтете эту идею не только нелепой и безвкусной, но и опасной. Представляется маловероятным, что такая заявка пройдет хоть одну комиссию по этике в демократическом мире. Однако целью этого мысленного эксперимента было показать, что нерожденные постбиотические эго-машины будущего не нашли бы представителей их интересов в современных этических комиссиях. Первые машины, которые бы удовлетворяли минимально достаточным условиям сознательного опыта и самости, оказались бы в положении человеческих младенцев, искалеченных генной инженерией. Эти машины тоже страдали бы всякого рода функциональным и репрезентационным дефицитом – различными увечьями в силу несовершенства человеческой техники. Можно с уверенностью предположить, что их системы восприятия – искусственные глаза, уши и тому подобное – поначалу будут работать нелучшим образом. Они скорее всего будут полуслепыми, полуглухими, страдать множеством затруднений в восприятии мира и себя в нем – а будучи искусственными эго-машинами, они, по определению, будут способны страдать.

Имея устойчивую телесную я-модель, они смогли бы ощущать сенсорную боль как свою боль. Если их постбиотическая я-модель будет укоренена прямо в саморегулирующиеся механизмы низшего уровня в устройстве – как наша эмоциональная я-модель укоренена в верхней части ствола мозга и гипоталамусе – они будут осознанно чувствующими самостями. Каждый эпизод потери гомеостатического контроля будет для них болезненным, потому что в них будет встроена забота о своем существовании, глубокая форма сопереживания, от которой они не могли бы дистанцироваться. У них будут собственные интересы, и этот факт они будут осознанно переживать. Существует вероятность того, что они смогут эмоционально страдать таким образом, что качественно их страдания будут нам совершенно чужды, а остроту их мы, халатные создатели, не сможем себе даже представить. На самом деле крайне вероятно, что первые поколения таких машин будут иметь очень много негативных чувств, которые будут отзеркаливать постоянные неудачные попытки успешной саморегуляции, вызванные разными неполадками устройства и помехами на высших уровнях обработки информации. Эти негативные чувства были бы сознательны и интенсивны, но во многих случаях мы не могли бы даже понять их или узнать об их присутствии.