Увы, человечество не является единой рациональной сущностью. Оно состоит из противных, завистливых, иррациональных, непоследовательных, непостоянных, обладающих ограниченными вычислительными возможностями, сложных, эволюционирующих, неоднородных сущностей. Их огромное количество. Эти вопросы составляют главный raison d’être общественных наук. Чтобы работать над ИИ, необходимо его дополнить идеями из психологии, экономики, политологии и философии морали[279]. Нам нужно переплавить эти идеи и выковать достаточно прочную структуру, чтобы она могла выдержать колоссальное давление, которое будут оказывать на нас все более интеллектуальные ИИ-системы. Работа над этой задачей едва начата.

Я начну, пожалуй, с простейшего предмета — неоднородности человечества. При ознакомлении с идеей, что машины должны учиться удовлетворять человеческие предпочтения, люди часто возражают, что у разных культур и даже индивидов сложились разные системы ценностей, следовательно, единая истинная система ценностей для машины невозможна. Это, разумеется, не проблема машины: мы не требуем от нее самостоятельно создать одну истинную систему ценностей, мы лишь хотим, чтобы она предсказывала предпочтения других.

Непонимание того обстоятельства, что неоднородность предпочтений людей может представлять трудность для машин, иногда обусловливается ошибочным представлением, что машина усваивает предпочтения, которые изучает, — например, что домашний робот в вегетарианской семье начнет предпочитать вегетарианство. Не начнет. Ему нужно лишь научиться предсказывать пищевые предпочтения вегетарианцев. Согласно первому принципу, это заставит его избегать готовить мясо для домочадцев. Однако робот также изучит пищевые предпочтения ярых мясоедов, живущих по соседству, и по разрешению своего владельца прекрасно будет готовить для них мясо, если они одолжат его на выходные помочь с организацией праздничного ужина. У робота нет единого комплекса собственных предпочтений, кроме одного предпочтения — помогать людям в удовлетворении их предпочтений.

В определенном смысле он ничем не отличается от шеф-повара ресторана, который учится готовить много разных блюд, чтобы удовлетворить отличающимся друг от друга вкусам посетителей, или международной автомобильной компании, выпускающей леворульные машины для американского рынка и праворульные для британского.

Теоретически машина могла бы изучить 8 млрд моделей предпочтений, по одной на каждого жителя Земли. На практике все гораздо проще. Во-первых, машинам легко обменяться друг с другом получаемыми знаниями. Во-вторых, структуры предпочтений людей имеют очень много общего, и машине не придется изучать каждую модель с нуля.

Представим, например, домашних роботов, которых однажды смогут купить жители калифорнийского Беркли. Распакованные роботы имеют весьма общее изначальное представление, скорее всего, адаптированное под американский рынок, но не под конкретный город, политические взгляды или социоэкономическую принадлежность владельца. Роботы начинают наблюдать членов Партии зеленых города Беркли, которые, оказывается, по сравнению со средним американцем с гораздо большей вероятностью являются вегетарианцами, пользуются возобновляемой и биоразлагаемой упаковкой, при любой возможности отдают предпочтение общественному транспорту и т. д. Оказавшись в «зеленом» домохозяйстве, свежекупленный робот может сразу же начать соответствующим образом модифицировать свои ожидания. Ему незачем изучать данные конкретных людей, как если бы он никогда прежде не видел человека, не говоря уже о члене Партии зеленых. Эта модификация не является неизменной — в Беркли могут быть члены Партии зеленых, которые лакомятся мясом находящихся под угрозой исчезновения китов и ездят на гигантских пожирателях бензина, — но это дает возможность роботу быстрее стать более полезным. Тот же аргумент применим к широкому спектру других личных характеристик, позволяющих в определенной мере предсказать структуры предпочтений индивидов.

Другим очевидным следствием существования более чем одного человека является то, что машине приходится искать компромисс между предпочтениями разных людей. Этот компромисс уже несколько веков является главной темой значительной части гуманитарных наук. Со стороны исследователей ИИ было бы наивно ожидать, что можно просто воспользоваться верными решениями без понимания того, что уже известно. К сожалению, литература по этой теме настолько обширна, что я физически не могу воздать ей должное на этих страницах, и не только потому, что места не хватит, но и поскольку большей ее части я не читал. Я также должен отметить, что практически все труды посвящены решениям, принимаемым людьми, тогда как меня заботят решения, принимаемые машинами. Это принципиальная разница, поскольку у людей есть личные права, которые могут конфликтовать с любым предполагаемым обязательством действовать в интересах других, а у машин их нет. Например, мы не ждем и не требуем от типичного человека, чтобы он жертвовал своей жизнью ради спасения других, но, безусловно, будем требовать от роботов жертвовать своим существованием, чтобы спасти жизни людей.

Несколько тысяч лет работы философов, экономистов, правоведов и политологов создали конституции, законы, экономические системы и социальные нормы, призванные облегчить (или затруднить, в зависимости от того, кому принадлежит власть) процесс достижения удовлетворительных решений проблемы компромисса. В частности, специалисты по философии морали занимаются анализом понятия правильности действий с точки зрения их влияния, благоприятного или негативного, на других людей. Они изучают количественные модели компромиссов с XVIII в., называя это утилитаризмом. Эта работа имеет непосредственное отношение к нашим сегодняшним тревогам, поскольку делает попытку найти формулу принятия нравственных решений в интересах многих индивидов.

Необходимость в компромиссах возникает, даже если у всех одна и та же структура предпочтений, потому что обычно невозможно максимально удовлетворить потребности всех и каждого. К примеру, если каждый захочет быть всемогущим властелином Вселенной, большинство людей постигнет разочарование. В то же время наше разнообразие вносит дополнительные сложности. Если все довольны голубым небом, то робот, решающий проблемы атмосферы, может работать над тем, чтобы оно таким и оставалось. Если же многие люди выступают за изменение цвета неба, роботу придется искать возможные компромиссы, скажем, оранжевое небо в третью пятницу каждого месяца.

Присутствие более чем одного человека в мире имеет еще одно важное следствие: оно означает, что у каждого человека есть ближние, с которыми нужно считаться. Значит, удовлетворение предпочтений индивида имеет последствия для его окружения, которые зависят от предпочтений индивида в отношении благополучия других.