Более тонкая проблема возникает, когда роботы работают нормально, без сбоев, а в их программе присутствует крохотная, но фатальная ошибка. Самосохранение — одна из важнейших целей робота. Другая его цель — помогать людям. Проблема возникает, когда эти две цели противоречат друг другу.

В фильме «Я, робот» компьютерная система решает, что человечество идет к саморазрушению и гибели — достаточно посмотреть на бесконечные войны людей и их жестокость, — и единственный способ защитить род человеческий — это взять управление на себя и установить благодетельную диктатуру машины. Здесь противоречие возникает не между двумя целями, а внутри одной, притом совершенно нереалистичной. И убийственные роботы не сломались: они логически пришли к выводу, что единственный способ сохранить человечество — взять на себя управление обществом.

Одно из возможных решений этой проблемы состоит в создании иерархии целей. К примеру, желание помочь людям должно перевешивать стремление к самосохранению. Эта тема исследовалась, в частности, в фильме «2001». Компьютерная система HAL9000 представляла собой разумную машину, способную свободно беседовать с людьми. Однако приказы, отдаваемые компьютеру, противоречили один другому и не могли быть одновременно выполнены. Попытавшись сделать невозможное, компьютер, что называется, «съехал с катушек»; он сошел с ума, и единственным способом выполнить противоречивые команды несовершенных людей стало устранение этих самых людей.

Не исключено, что наилучшим решением этой проблемы было бы создание нового закона робототехники, в котором говорилось бы, что робот не может причинить вред человеку, даже если в его предыдущих командах есть противоречия. Робот должен быть запрограммирован не обращать внимания на противоречия низкого уровня в командах; главное — всегда выполнять основной закон. Но и такая система может оказаться несовершенной, и это в лучшем случае. (К примеру, если главная цель роботов — защищать людей и эта цель превыше всех других целей, то все будет зависеть от того, как роботы определят слово «защищать». Их механическое определение этого слова может сильно отличаться от нашего.)

Надо сказать, что некоторые ученые, такие как специалист по когнитивной психологии из Университета Индианы доктор Дуглас Хофстадтер, не боятся такого развития событий. Во время интервью он рассказал, что роботы — как дети, и почему бы нам не любить их, как собственных детей? Его отношение, по его собственным словам, сводится примерно к следующему: мы любим своих детей, хотя прекрасно знаем, что в конце концов они сменят нас и управление перейдет в их руки.

Доктор Ханс Моравек, бывший директор Лаборатории искусственного интеллекта в Университете Карнеги — Меллона, согласен с доктором Хофстадтером. В своей книге «Робот» (Robot) он пишет: «Дети нашего разума, не скованные тяжелой поступью биологической эволюции, будут вольны двигаться вперед и расти, чтобы в конце концов взять на себя безграничные и фундаментальные вызовы большой Вселенной… На какое-то время мы, люди, получим выгоду от их труда, но… как настоящие живые дети, они будут искать собственный путь и собственную судьбу, тогда как мы, их пожилые родители, молча отойдем в сторону».

Другие, напротив, считают, что такое решение ужасно. Может быть, проблему можно решить, если уже сейчас, пока еще не поздно, изменить наши цели и приоритеты. Раз роботы — наши дети, то мы и должны «научить» их доброжелательности.

Роботы — это механические существа, которых мы сами изготавливаем в лаборатории, поэтому, будут ли они дружественными или агрессивными, зависит от направления исследований искусственного интеллекта. Значительная часть финансирования поступает от военных, задача которых — выигрывать войны, так что создание роботов-убийц вполне вероятно.

Однако поскольку 30 % всех промышленных роботов производится в Японии, существует и другая возможность: роботов с самого начала будут конструировать и создавать как полезных работников и товарищей по играм. Это вполне достижимая цель, если в исследованиях по робототехнике будет доминировать потребительский сектор. Философия «дружественного искусственного интеллекта» состоит в том, что изобретатели должны создавать роботов такими, чтобы те с первых шагов были запрограммированы на доброжелательность к людям.

В культурном отношении японский подход к роботом отличается от западного. Если на Западе дети с ужасом наблюдают за буйством роботов типа Терминатора, то в Японии дети погружены в религию синто, согласно которой духи живут во всех вещах, даже в механических роботах. Японские дети не испытывают дискомфорта при виде робота, а вопят от радости. Неудивительно поэтому, что роботов на рынке и в домах Японии становится все больше и больше. Они приветствуют вас в магазинах и читают лекции по телевизору. В Японии есть даже пьеса с роботом в главной роли. (У Японии есть и другая причина активно внедрять роботов — это будущие роботизированные сиделки для стареющей страны. Сегодня 21 % населения Японии старше 65 лет, эта нация стареет быстрее любой другой. В определенном смысле Япония — это крушение поезда, показанное замедленной съемкой. Причина заключается в трех демографических факторах. Во-первых, японские женщины имеют самую большую ожидаемую продолжительность жизни среди всех этнических групп мира. Во-вторых, рождаемость в Японии — одна из самых низких в мире. В-третьих, страна придерживается строгой иммиграционной политики, и 99 % ее населения — чистокровные японцы. Но вместо молодых иммигрантов, которые могли бы заботиться о пожилых японцах, Япония рассчитывает на роботов-сиделок. И эта проблема не ограничивается Японией; Европа на очереди. Италия, Германия, Швейцария и другие европейские страны испытывают аналогичное демографическое давление. К середине века население Японии и Европы может серьезно сократиться. Да и Соединенные Штаты отстают не слишком. Рождаемость среди уроженцев США в последние десятилетия сильно упала, но иммиграция в этом веке еще обеспечит им рост населения. Иными словами, вопрос о том, смогут ли роботы спасти нас от этих трех демографических кошмаров, — всем вопросам вопрос.)

Япония лидирует по созданию роботов, способных войти в личную жизнь человека. Японцы уже создали робота-повара (он способен приготовить чашку лапши за минуту и сорок секунд). Приходя в ресторан, вы делаете заказ на планшетном компьютере, и робот берется за дело. Он представляет собой две большие механические руки, которые хватают чашки, ложки и ножи и готовят для вас еду. Некоторые роботы-повара даже напоминают людей.

Существуют и музыкальные роботы для развлечения. У одного такого робота даже есть «легкие», похожие на мехи аккордеона, при помощи которых он может играть на духовом инструменте. Есть роботы-горничные. Если вы тщательно подготовите свою одежду, такой робот может сложить ее для вас. Существует даже робот, который может говорить при помощи искусственных легких, губ, языка и носовой полости. Корпорация Sony, к примеру, построила робота AIBO, который напоминает собаку, и, если его ласкать, он может проявлять кое-какие эмоции. Некоторые футурологи предсказывают, что индустрия роботов когда-нибудь сможет догнать по масштабам сегодняшнюю автомобильную промышленность.