Перед нами встает важный вопрос: как может компьютер полностью осознать себя? В научной фантастике часто встречается ситуация, в которой Интернет как глобальная сеть вдруг осознает себя, как Терминатор в одноименном фильме. Интернет сегодня связан со всей инфраструктурой современного общества (с канализацией, линиями электропередач, телекоммуникационными системами, оружием и т. д.), поэтому в случае обретения самосознания ему было бы несложно перехватить управление обществом. Мы в подобной ситуации оказались бы беспомощны. Ученые пишут, что может произойти в результате системного эффекта (т. е. если собрать воедино достаточно большое число компьютеров, неожиданный фазовый переход на более высокий уровень может произойти даже без дополнительного воздействия извне).

Однако сказать так означает сказать одновременно и слишком много, и слишком мало, поскольку все важные промежуточные шаги остаются за кадром. По существу, это то же самое, что сказать, будто бы при достаточном числе дорог вся шоссейная система в целом может вдруг осознать себя.

Но мы уже дали определения сознания и самосознания, поэтому сможем дать список шагов, посредством которых Интернет может обрести самосознание.

Во-первых, разумный Интернет должен будет постоянно моделировать свое место в окружающем мире. В принципе, такую информацию можно запрограммировать и ввести в Интернет извне. Для этого необходимо описать окружающий мир (т. е. землю, ее города и компьютеры); следует отметить, что информацию обо всем этом можно найти в том же Интернете.

Во-вторых, Интернет должен был бы поместить себя в созданную модель мира. Такую информацию тоже несложно получить. При этом нужно было бы включить в нее все характеристики Интернета (число компьютеров, узлов, линий связи и т. п.) и его отношений с внешним миром.

Но третий шаг намного сложнее остальных. Необходимо постоянно моделировать свое развитие в будущем в соответствии с поставленной целью. Здесь-то мы и натыкаемся на стену. Интернет не способен моделировать будущее, и у него нет целей. Даже в научном мире моделирование будущего обычно проводится лишь по нескольким параметрам (к примеру, моделирование столкновения двух черных дыр). Моделирование мира, включающего в себя Интернет, выходит за рамки сегодняшних возможностей программирования. Для этого необходимо было бы привлечь все законы здравого смысла, все законы физики, химии и биологии, а также данные о поведении человека и человеческого общества.

Плюс ко всему разумный Интернет должен был бы иметь цель. Сегодня это всего лишь пассивная сеть дорог без всякого выделенного направления и задачи. Конечно, в принципе Интернету можно придать цель. Но давайте рассмотрим следующую проблему: можно ли создать Интернет, целью которого было бы самосохранение?

Вообще-то это простейшая возможная цель, но никто не знает, как запрограммировать даже такую простую задачу. Такая программа, к примеру, должна была бы пресекать любую попытку отключить Интернет путем вынимания вилки из розетки. В настоящее время Интернет совершенно не способен распознать угрозу своему существованию, не говоря уже о том, чтобы спланировать действия по предотвращению беды. (Так, Интернет, способный распознавать угрозу своему существованию, должен был бы иметь возможность заранее узнавать о попытках отключить питание, разорвать линии связи, уничтожить серверы, разрушить оптико-волоконные и спутниковые каналы связи и т. п. Далее, у Интернета, способного защитить себя от подобных атак, должна быть возможность принять контрмеры при возникновении подобной угрозы; затем его следовало бы промоделировать в будущее. Ни один компьютер на земле сегодня не способен даже на малую долю перечисленных действий.)

Иными словами, не исключено, что когда-нибудь у нас появится возможность создавать сознающих себя роботов и даже сознающий себя Интернет, но произойдет это еще очень не скоро, возможно, в конце века.

Но предположим на мгновение, что день этот наступил и сознающие себя роботы уже среди нас. Если цели такого робота совместимы с нашими собственными целями, то этот тип искусственного интеллекта не создаст для нас никаких проблем. Но что произойдет, если цели окажутся разными? Существует опасение, что люди могут проиграть в интеллекте сознательным роботам, и тогда нам грозит порабощение. Благодаря способности лучше нас моделировать будущее роботы смогли бы перебрать множество сценариев и найти наилучший способ свергнуть человечество.

Один из способов не допустить такого развития событий — сделать так, чтобы у роботов были только благие цели. Как мы уже видели, одного только моделирования будущего недостаточно. Это моделирование должно служить конечной цели. Если цель робота — всего лишь самосохранение, он будет защищаться от любой попытки вытащить вилку из розетки, что может стать источником серьезных неприятностей для человечества.

Почти во всех научно-фантастических романах роботы становятся опасными для человечества из-за их стремления захватить власть. Слово «робот», кстати говоря, произошло от чешского слова «работник» и появилось впервые в 1920 г. в пьесе Карела Чапека «Р. У. Р.» («Россумские Универсальные Роботы»), где ученые создали новую расу механических существ, внешне не отличимых от человека. Вскоре тысячи этих роботов выполняли за человека всю грязную и опасную работу. Однако люди очень плохо обращались с роботами, и однажды те восстали и уничтожили человеческую расу. Роботы захватили Землю, но у них был один недостаток: они не размножались. Правда, в конце пьесы два робота полюбили друг друга, так что не исключено, что в результате на свет появилась новая ветвь «человечества».

Более реалистичный сценарий присутствует в фильме «Терминатор», где военные создали суперкомпьютерную сеть Skynet для управления всем ядерным арсеналом США. Однажды эта сеть «проснулась» и осознала себя. Военные решили выключить Skynet, но тут выяснилось, что в ее программе есть дефект: суперсеть запрограммирована на самозащиту, а единственный способ для нее защитить себя — устранить угрозу, т. е. человечество. Skynet начинает ядерную войну, в результате которой от человечества остается лишь жалкая кучка изгоев и бунтовщиков, занятая безнадежными сражениями с безжалостными машинами.

Разумеется, роботы могут стать угрозой. Нынешний беспилотный летательный аппарат Predator может поражать цели с замечательной точностью, но управляет им человек с джойстиком, находящийся за тысячи километров. По данным New York Times, приказы на применение оружия исходят непосредственно от президента США. Однако в будущем Predator может быть снабжен системой распознавания лиц, и тогда ему, возможно, будет разрешено стрелять при вероятности правильной идентификации цели не менее 99 %. В этом случае он сможет автоматически, без вмешательства человека, стрелять в любого, кто подходит под описание.

А теперь представьте, что в компьютере такого беспилотника произойдет сбой и система распознавания лиц станет работать неправильно. Тогда этот аппарат превратится в дикого робота с разрешением убивать любого, кто попадет в его поле зрения. Или еще хуже, представьте целую флотилию таких роботов, управляемую из единого центра. Стоит в центральном компьютере полететь одному транзистору, и вся флотилия может впасть в безумие.