робот отодвигается, когда в этом нет необходимости, и может подвергнуть себя опасности, когда поведение человека меняется. Даже чтобы вовремя отодвигаться, роботам нужна известная точность в предвидении человеческих действий. В отличие от катящегося шара, люди совершают действия в зависимости от принимаемых решений. Значит, чтобы предвидеть действия человека, роботы должны вникнуть в суть процесса принятия человеческих решений. Не следует исходить из допущения, что человеческое поведение всегда сугубо оптимально; этого может быть достаточно для робота, играющего в шахматы или в го, но в реальном мире решения людей предсказуемы намного меньше, чем оптимальный ход в настольной игре.

Потребность в понимании действий и решений человека является одинаково насущной для материальных и нематериальных роботов. Если тот или другой исходят в своих решениях о способах действия из допущения, что человек будет делать одно, а сам человек делает что-то иное, такое разногласие во мнениях может закончиться катастрофически. Применительно к автомобилям это может быть авария. А применительно к ИИ, ведущему, скажем, финансовую или экономическую деятельность, несоответствие ожиданий и реальных поступков может иметь еще более худшие последствия.

Как вариант, робот может не пытаться предугадывать наши действия; он будет лишь стремиться к предотвращению наихудших последствий человеческих действий. Зачастую это приводит к тому, что роботы перестают приносить максимальную пользу. Например, беспилотный автомобиль просто замирает на месте, ибо каждое движение чревато чрезмерным риском.

В итоге сообщество исследователей ИИ оказывается в тупике. Предполагается, что роботам необходимы точные (по крайней мере, разумно точные) прогностические модели человеческого поведения. Описание состояний не сводится к простой фиксации физического местоположения людей. Нужно также учитывать «внутренние» особенности. Нужно проектировать роботов, которые в состоянии оценивать такие «внутренние» состояния, что довольно затруднительно. К счастью, люди склонны давать роботам подсказки о своих «внутренних» состояниях: их текущие действия позволяют роботам предсказывать (по методу байесовского вывода[111]) дальнейшие намерения. Если мы движемся по правой стороне коридора, то, вероятно, свернем в комнату справа.

Ситуация осложняется тем обстоятельством, что люди не принимают решений изолированно. Одно дело, научись роботы предсказывать действия конкретного индивида и сообрази, как поступать в ответ. К сожалению, такая практика способна породить «ультраосторожных» роботов, сбивающих людей с толка. (Вспомните, к слову, нерешительных водителей на нерегулируемых перекрестках.) Практика прогнозирования намерений не учитывает того факта, что в момент, когда робот совершает действие, он оказывает влияние на последующие действия человека.

Роботы и люди взаимно влияют друг на друга, и роботы должны научиться ориентироваться в этом пространстве влияний. Ведь далеко не всегда речь о роботе, взаимодействующем с людьми; речь и о людях, взаимодействующих с роботами. Важно, чтобы роботы помнили об этом, принимая решения относительно своих действий, будь то на дороге, на кухне или даже в виртуальном мире, где действиями могут выступать покупка товаров или внедрение новой идеи. Следовательно, роботам необходима координационная стратегия, которая позволит им принимать участие в переговорах, ведущихся людьми беспрепятственно изо дня в день – кто первым проедет перекресток, кого пропустят вперед у двери, кто чем занимается, когда совместно готовят завтрак и т. д., вплоть до определения следующих шагов в развитии какого-то проекта.

Наконец, точно так же, как роботам нужно предвидеть дальнейшие поступки людей, людям придется учиться предугадывать действия роботов. Вот почему важна прозрачность отношений. Необходимы надежные ментальные модели человеческого и роботического поведения. Модель робота, присутствующая у человека, должна входить в наши описания состояний, а робот должен понимать, как его действия изменят эту модель. Подобно тому как робот рассматривает человеческие действия как ключи к «внутренним» состояниям человека, люди изменяют свои представления о роботах, наблюдая за действиями последних. К сожалению, роботам несвойственно полагаться на подсказки в той же мере, в какой к этому склонны люди; ведь у нас в избытке практики неявного общения с другими людьми. Но если роботы научатся учитывать изменения вследствие своих действий в ментальной модели человека, это может способствовать более тщательному осмыслению действий, содержащих правильные подсказки – то есть таких, которые прямо сообщают людям о намерениях робота, его функциях вознаграждения и ограничениях. Например, робот может изменить направление движения при перемещении тяжестей, чтобы показать, как ему непросто маневрировать при работе с тяжелыми предметами. Чем больше люди будут знать о роботах, тем проще станет координировать действия.

Для достижения совместимости от роботов потребуется умение предвидеть человеческие поступки и осознавать, как эти поступки повлияют на их собственные действия, а людям придется научиться предугадывать действия роботов. Текущие исследования в этой области достигли определенного прогресса, но нам еще предстоит сделать очень и очень многое.

Проблема выравнивания ценностей: люди контролируют функции вознаграждения роботов.

Стремление к наделению роботов способностью оптимизировать вознаграждение подразумевает упорный труд проектировщиков для определения правильной награды за такую оптимизацию. Первоначально предполагалось, что для любой задачи, выполнения которой мы ждем от робота, достаточно прописать функцию вознаграждения, стимулирующую нужное его поведение. К сожалению, часто бывает так, что мы задаем некую функцию вознаграждения, а поведение робота в результате оптимизации не соответствует нашим ожиданиям. «Интуитивные» функции вознаграждения в сочетании с необычными вариантами задач могут привести к контринтуитивному поведению. Вы награждаете агента-участника скачек некоторым количеством очков, а он обнаруживает лазейку, которую использует для получения бесконечного количества очков без фактической победы в состязании. Стюарт Рассел и Питер Норвиг приводят прекрасный пример в книге «Искусственный интеллект: современный подход»: если поощрять робота-уборщика за количество собранной пыли, то робот может решить вывалить собранную пыль обратно, чтобы всосать ее снова и получить большее вознаграждение.

В целом людям, как известно испокон веков, крайне сложно сообразить, чего именно они хотят, и как раз об этом говорят многочисленные предания о джиннах. Парадигма ИИ, в контексте которой роботы удостаиваются определенной награды извне, не оправдывает себя, когда такая награда не до конца продумана. Она способна подтолкнуть робота к неправильному поведению и даже к противодействию нашим попыткам исправить его поведение, поскольку они чреваты уменьшением вознаграждения.

Казалось бы, лучшей парадигмой для роботов будет оптимизация согласно нашим истинным желаниям, пусть даже нам непросто четко сформулировать эти желания. Роботы могли бы опираться на наши слова и поступки в качестве индикаторов и доказательств желаний, а не интерпретировать их буквально и действовать соответственно. Когда мы прописываем функцию вознаграждения, робот должен понимать, что мы можем ошибаться, что мы могли не учесть все аспекты задачи и никто не гарантирует, что данная функция вознаграждения всегда будет приводить к желаемому поведению. Робот должен интегрировать наши условия в свое понимание того, чего нам действительно хочется, но при этом должен общаться с нами ради уточнения информации. Он должен стремиться к наставлениям