Вторая модификация — допустить некоторую вероятность ошибки человека, а именно, что Гарриет будет иногда выключать Робби, даже когда он предлагает разумное действие, а в некоторых случаях позволять ему продолжать действовать, несмотря на то что его предложение нежелательно. Мы можем включить вероятность человеческой ошибки в математическую модель игры в помощника и найти решение, как уже делали. Как и следовало ожидать, решение показывает, что Робби менее склонен считаться с иррациональной Гарриет, иногда действующей вопреки собственным интересам. Чем более случайно ее поведение, тем более неуверенным Робби должен быть относительно ее предпочтений, чтобы обратиться к ней. Опять-таки это в теории. Например, если Робби — автономный автомобиль, а Гарриет — непослушная двухлетняя пассажирка, Робби не должен позволить Гарриет выключить его посреди автомагистрали.

Эту модель еще многими способами можно расширить или включить в комплексные задачи, связанные с принятием решений[265]. Я уверен, однако, что основная мысль — принципиально важная связь между полезным смиренным поведением машины и ее неопределенностью в отношении человеческих предпочтений — сохранится во всех этих модификациях и усложнениях.

Обучение предпочтениям в долгосрочной перспективе

Возможно, читая описание игры в выключение, вы задались важным вопросом (скорее всего, у вас куча важных вопросов, но я собираюсь ответить только на этот): что происходит по мере того, как Робби получает все больше информации о предпочтениях Гарриет и неопределенность для него уменьшается? Значит ли это, что со временем он совершенно перестанет прислушиваться к человеку? Это щекотливый вопрос, на который возможны два ответа: да и да.

Первое «да» благоприятно: в общем, пока первоначальные представления Робби о предпочтениях Гарриет приписывают некоторую вероятность, сколь угодно малую, ее реальным предпочтениям, чем более уверенным становится Робби, тем чаще он будет прав. Постепенно он придет к убеждению, что предпочтения Гарриет именно таковы, какие они есть, в действительности. Например, если Гарриет оценивает скрепки в 12 центов, а скобки в 88 центов, Робби со временем усвоит эти ценности. В этом случае Гарриет не важно, советуется ли с ней Робби, поскольку она знает, что он всегда сделает именно то, что сделала бы она сама на его месте. Невозможна ситуация, когда Гарриет захочется выключить Робби.

Второе «да» менее благостно. Если Робби априори исключает предпочтения, имеющиеся у Гарриет, он никогда эти истинные предпочтения не узнает, но его представления могут обратиться в неверное представление. Иными словами, со временем он становится все более убежденным в ошибочных представлениях о предпочтениях Гарриет. В типичной ситуации это ложное представление будет связано с тем, какая гипотеза из всех, которые Робби изначально допускает, наиболее близка к истинным предпочтениям Гарриет. Например, если Робби абсолютно убежден, что Гарриет определяет ценность скрепки между 25 и 75 центами, тогда как ее истинная ценность, с точки зрения Гарриет, равна 12 центам, робот постепенно придет к убеждению, что она оценивает скрепку в 25 центов[266].

Приближаясь к определенности в отношении предпочтений Гарриет, Робби все больше станет напоминать старые недобрые ИИ-системы с фиксированными целями: он не станет спрашивать разрешения и не предоставит Гарриет возможности выключить его, а также будет преследовать неверную цель. С этим еще можно мириться, когда речь идет о скрепках и скобках, но не в случае необходимости выбирать между качеством и продолжительностью жизни, если Гарриет тяжело больна, или между численностью населения и потреблением ресурсов, если от Робби ожидались действия в интересах всего человечества.

Итак, у нас появляется проблема, если Робби заранее отбрасывает предпочтения, возможно, имеющиеся у Гарриет: он может прийти к твердому, но ошибочному убеждению о ее предпочтениях. Решение кажется очевидным: не делать этого! Всегда приписывать некоторую вероятность, сколь угодно малую, логически возможным предпочтениям. Например, с точки зрения логики возможно, что Гарриет настолько хочет избавиться от скобок, что готова вам приплатить, лишь бы вы их забрали. (Может быть, она в детстве пригвоздила свой палец к столу такой скобкой и теперь даже видеть их не может.) Следовательно, мы должны допустить отрицательные соотношения цен, вследствие чего задача несколько усложняется, но остается абсолютно решаемой[267].

Что, однако, делать, если Гарриет ценит скрепки в 12 центов по будним дням и в 80 центов по выходным? Это новое предпочтение не описывается никаким единственным числом, и Робби фактически вынужден заведомо им пренебречь. Оно попросту отсутствует в его комплексе возможных гипотез о предпочтениях Гарриет. В общем случае для Гарриет могут быть важны еще очень и очень многие вещи, кроме скрепок и скобок. (Честное слово!) Представим, например, что изначальные представления Робби допускают гигантский список возможных предметов заботы Гарриет, в том числе уровень Мирового океана, глобальную температуру, количество атмосферных осадков, ураганы, озонную дыру, паразитные виды и уничтожение лесов. Тогда Робби будет наблюдать за поведением и выбором Гарриет и постепенно совершенствовать свою теорию ее предпочтений, чтобы понять, какой вес она приписывает каждому пункту списка. Однако, как и в примере со скрепкой, Робби не узнает о том, что не входит в этот список. Допустим, Гарриет также беспокоится из-за цвета неба — гарантирую, вы не найдете этого среди типичных тревог климатологов. Если Робби сможет чуть лучше оптимизировать уровень океана, глобальную температуру, количество осадков и т. д., сделав небо оранжевым, то сделает это без колебаний.