только для стимулирования интеграции машин в человеческое общество, но и для того, чтобы человеческое общество продолжало существовать.

Давайте вообразим автоматизированного интеллектуального помощника, способного выполнять такие базовые функции, как распределение еды и заказ продуктов. Для успешного решения этих задач он должен уметь делать выводы о ваших желаниях, отталкиваясь от вашего поведения. Со стороны кажется, что тут нет ничего сложного, но делать выводы о человеческих предпочтениях не так-то просто. Например, ваш помощник замечает, что больше всего вам нравятся десерты, – и примется планировать приемы пищи, подавая исключительно десерты. Или, может быть, он услышит ваши жалобы на отсутствие достаточного количества свободного времени и заметит, что уход за собакой отнимает у вас значительное количество этого свободного времени; после отказа от «десертного меню» он сообразит, что вы предпочитаете блюда, содержащие белок, а потому может заняться изучением рецептов, где фигурирует собачье мясо. Отсюда уже довольно близко до ситуаций, которые выглядят проблемными для человечества в целом (не забывайте, что мы все – обильные источники белка).

Умение делать выводы о человеческих желаниях является необходимым условием для успешного решения проблемы выравнивания ценностей – когда ценности автоматизированной интеллектуальной системы сопоставляются с человеческими. Выравнивание необходимо, если мы хотим, чтобы автоматизированные интеллектуальные системы действовали в наших интересах. Если они не в состоянии делать выводы о том, что для нас значимо, у них не будет ни малейшего стимула действовать на пользу нам – зато они вполне могут действовать вразрез с нашими ценностями.

Выравниванию ценностей в последнее время начинают уделять все больше внимания в исследованиях искусственного интеллекта. Одним из способов решения этой задачи считается обучение с обратным подкреплением. Вообще обучение с подкреплением – типовой метод обучения интеллектуальных машин. Связывая конкретные результаты с наградами, систему машинного обучения можно научить реализации стратегий, приносящих подобные результаты. Винер намекал на эту возможность еще в 1950-х годах, а в последующие десятилетия его идеи развивали и осуществляли на практике. Современные системы машинного обучения способны находить чрезвычайно эффективные методики прохождения компьютерных игр – от простых аркад игр до сложных стратегий в реальном времени – посредством алгоритмов обучения с подкреплением. Техника обратного подкрепления переворачивает привычный подход: наблюдая за действиями интеллектуального агента, который уже усвоил эффективные методики, мы можем предполагать, какие награды привели к разработке этих методик.

В своей простейшей форме обучение с обратным подкреплением является типично человеческим видом деятельности. Оно настолько распространено, что мы поступаем так неосознанно. Когда вы видите, что ваш сотрудник идет к торговому автомату с чипсами, шоколадками и прочим и покупает пакет несоленых орехов, вы делаете следующие выводы: ваш сотрудник (а) голоден и (б) предпочитает здоровую пищу. Когда какой-то знакомый явно вас замечает, но пытается уклониться от встречи, вы сознаете, что по какой-то причине он не хочет с вами разговаривать. Когда взрослые тратят много времени и денег на обучение игре на виолончели, вы заключаете, что им по-настоящему нравится классическая музыка, тогда как выяснение мотивов подростка, который учится играть на электрогитаре, может оказаться более сложной задачей.

Изучение обучения с обратным подкреплением представляет собой статистическую задачу: мы располагаем некими данными – о поведении интеллектуального агента – и желаем оценить обоснованность различных гипотез о вознаграждениях, определяющих это поведение. Столкнувшись с такой ситуацией, статистик склоняется к применению генеративной модели данных: какие данные мы ожидаем получить, если мотивировать интеллектуального агента тем или иным набором вознаграждений? На основании генеративной модели статистик далее предпримет обратную реконструкцию: какие награды с наибольшей вероятностью побудят агента вести себя именно таким образом?

Когда мы пытаемся делать выводы о наградах, мотивирующих человеческое поведение, генеративная модель оказывается, по сути, теорией человеческого поведения, теорией функционирования человеческого разума. Догадки о скрытых мотивах поведения других людей отражают сложную модель человеческой природы, существующую в сознании каждого из нас. Если эта модель точна, мы делаем обоснованные выводы. Если она ошибочна, наши выводы далеки от реальности. Например, студент может решить, что профессору он безразличен, поскольку профессор не сразу реагирует на его электронные письма (ошибочный вывод объясняется тем, что студент просто-напросто не представляет, сколько таких писем получает этот профессор).

Автоматизированные интеллектуальные системы, умеющие делать правильные выводы о человеческих желаниях, должны опираться на надежные генеративные модели человеческого поведения, то есть на надежные модели человеческого познания, репрезентированные в формах, доступных для реализации на компьютере. Исторически поиск «вычислительных» моделей человеческого познания тесно переплетался с историей разработки искусственного интеллекта. Спустя всего несколько лет после публикации работы Норберта Винера «Человеческое применение человеческих существ» появилась машина «Логик-теоретик», первая вычислительная модель человеческого познания и первая практическая система искусственного интеллекта, созданная Гербертом Саймоном из Технического университета Карнеги и Алленом Ньюэллом из корпорации «РЭНД»[110]. Эта машина автоматически приводила математические доказательства, эмулируя стратегии математиков-людей.

Задача разработки вычислительных моделей человеческого познания сегодня упирается в создание моделей, одновременно точных и универсальных. Точная модель, разумеется, предсказывает поведение человека с минимумом ошибок. Универсальная модель способна давать прогнозы в широком диапазоне обстоятельств, в том числе с учетом обстоятельств, которые не предвидели ее создатели; например, надежная модель климата нашей планеты должна уметь предсказывать последствия глобального повышения температуры, даже если об этом не подумали специалисты, которые ее разрабатывали. Однако, когда доходит до постижения человеческого разума, две указанные цели – точность и универсальность – издавна противоречат друг другу.

Пределом универсализации могут выступать рациональные теории познания. Эти теории описывают поведение человека как рациональные реакции на конкретные вызовы. Рациональный субъект стремится максимизировать ожидаемое вознаграждение, получаемое в результате последовательности действий; данная идея приобрела широкую популярность в экономике – именно потому, что она позволяет обобщенно предсказывать поведение человека. По той же причине рациональность является стандартным допущением в моделях обучения с обратным подкреплением, которые пытаются делать выводы на основании поведения человека (возможно, допуская, что люди не рациональны в полном смысле слова, что порой они случайным образом совершают некие действия, не соответствующие или даже противоречащие их интересам).

Проблема рациональности как основы для моделирования человеческого познания заключается в том, что рациональность лишена точности. В области принятия решений имеется немало исследований (во главе списка стоят работы когнитивных психологов Дэниела Канемана и Амоса Тверски), в которых они описывают способы, с помощью которых люди уклоняются от предписаний, навязанных им рациональными моделями. Канеман и Тверски предположили, что во многих ситуациях люди следуют простой эвристике, которая позволяет находить удачные решения при малых когнитивных затратах, но иногда провоцирует ошибки. Возьмем один из рассмотренных ими примеров: если попросить кого-нибудь оценить вероятность некоего события, этот человек может положиться на свою память, для которой не составляет труда породить