нежелательное и неожиданное поведение, – сказала Анка интервьюеру из Института будущего жизни. – Даже если мы планируем использовать ИИ на благие цели, все может пойти не так именно потому, что мы плохо справляемся с постановкой целей и заданием ограничений для агентов ИИ. Их решения зачастую не соответствуют нашим ожиданиям».

Поэтому Драган считает необходимым помогать роботам и программистам преодолевать множество затруднений, возникающих вследствие непонимания намерений друг друга. Роботы, говорит она, должны задавать нам вопросы. Они должны задумываться о собственном предназначении и должны назойливо расспрашивать программистов-людей на этот счет во избежание последствий, которые она сама эвфемистически именует «неожиданными побочными эффектами».

В основе искусственного интеллекта лежит наше математическое определение того, что такое агент ИИ (робот). Когда мы описываем робота, то перечисляем состояния, действия и награды. Подумайте, например, о роботе-курьере. Его состояния суть места нахождения в пространстве, а действия суть движения, которые робот совершает, чтобы добраться из одного места в другое. Чтобы робот мог решать, какие действия предпринять, мы предусматриваем функцию вознаграждения, то есть сопоставляем состояния и действия с системой оценок, отражающих, насколько хорошо выполнено действие в конкретном состоянии, – и позволяем роботу выбирать те действия, которые сулят наибольшее «вознаграждение». Робот получает максимум, когда достигает пункта назначения, а несколько баллов вычитают за сам процесс перемещения из точки в точку; функция вознаграждения стимулирует робота добираться до места назначения как можно быстрее. Аналогичным образом беспилотный автомобиль будет вознагражден за движение по маршруту и лишится нескольких баллов за опасное сближение с другими автомобилями.

С учетом сказанного отметим, что задача робота состоит в выяснении того, какие действия ему надлежит предпринять, чтобы получить наибольшее вознаграждение. В разработке ИИ мы старательно прививаем роботам такую способность. Причем неявно предполагается, что, если мы добьемся успеха – если роботы сумеют однажды приступить к принятию решений и превратить это осознание в действия, – мы получим роботов, полезных отдельным людям и обществу в целом.

Здесь как будто все более или менее логично. Если требуется ИИ, способный разделять клетки на раковые и доброкачественные, или робот, который пылесосит ковер в гостиной, пока хозяин дома отсутствует, эти задачи выглядят вполне осуществимыми. Некоторые проблемы действительно возможно выделить и описать, четко указать для них состояния, действия и вознаграждения. Но расширение возможностей ИИ ведет к тому, что возникает желание передоверить ему задачи, которые не вписываются в эту структуру. На определенном этапе становится невозможно «отрезать» крошечный кусочек реального мира, положить его, так сказать, на блюдечко и вручить роботу. Помощь людям все чаще подразумевает работу в реальном мире, где приходится взаимодействовать с реальными людьми и осмыслять их поведение. То есть «людей» так или иначе необходимо вставить в уравнения, которыми оперирует ИИ.

Беспилотные автомобили уже стали явью. Им придется делить дороги с транспортными средствами, которыми управляют люди, и пешеходами и научиться находить компромисс между стремлением доставить пассажира к месту назначения как можно быстрее и вниманием к поведению других водителей. Личным помощникам предстоит научиться пониманию того, когда и в каком объеме действительно нужна помощь, какие типы задач мы предпочитаем выполнять самостоятельно, а какие готовы уступить. СППР (система поддержки принятия решений) и медицинская диагностическая система должны объяснять нам свои рекомендации, причем так, чтобы мы поняли и могли их проверить. Автоматизированным преподавателям придется определять, какие примеры будут информативными или наглядными – не для их коллег-машин, а для нас, людей.

Заглядывая в будущее, вот что мы видим: если нам хочется, чтобы высокопроизводительные ИИ были совместимы с людьми, нельзя разрабатывать их изолированно от людей, а затем пытаться внедрить в общество; скорее, следует исходно проектировать ИИ, «совместимый с человеком». Людей нужно учитывать изначально.

В случае реальных роботов, помогающих реальным людям, типовое определение ИИ оказывается неудовлетворительным сразу по двум важным причинам. Во-первых, изолированная оптимизация роботической функции вознаграждения отличается от оптимизации в условиях взаимодействия с людьми, поскольку люди сами взаимодействуют между собой. Мы принимаем решения для удовлетворения собственных интересов, и эти решения диктуют нам, какие действия предпринимать. Вдобавок мы осмысливаем поведение роботов, то есть реагируем на то, что, как нам кажется, они делают или намерены сделать, и оцениваем их возможности. Какие бы действия робот ни совершал, они должны сочетаться с нашими собственными. Перед нами проблема координации.

Во-вторых, именно человек в конечном счете определяет, какой должна быть функция вознаграждения робота. Награда призвана мотивировать робота к поведению, которое соответствует желаниям конечного пользователя, проектировщика машины или общества в целом. На мой взгляд, дееспособным роботам, действия которых будут выходить за рамки узко поставленных задач, придется это понять, чтобы прийти к совместимости с людьми. Перед нами проблема выравнивания значений.

Проблема координации: люди не просто объекты окружающей среды

Разрабатывая роботов для решения конкретных задач, легко поддаться искушению и начать воспринимать людей как абстракции. Например, личному роботизированному помощнику надо знать, как двигаться, чтобы брать нужные предметы, и мы описываем эту задачу изолированно от людей, для которых робот будет подбирать предметы. Но мы не хотим, чтобы робот в процессе движения сталкивался с обстановкой и людьми, поэтому можно включить физическое местонахождение человека в определение состояния робота. То же самое верно для автомобилей: мы не хотим, чтобы они сталкивались с другими автомобилями, поэтому наделяем их способностью отслеживать положение других автомобилей и предполагаем, что они будут последовательно двигаться в одном направлении. В этом смысле человек для робота ничем не отличается, скажем, от шара, катящегося по плоской поверхности. Шар в следующие несколько секунд будет вести себя точно так же, как и в предыдущие несколько секунд; он продолжает катиться в том же направлении приблизительно с той же скоростью. Это, конечно, ни в коей мере не похоже на реальное человеческое поведение, но подобные упрощения позволяют многим роботам успешно решать поставленные перед ними задачи и по большей части не мешать людям. Тот же домашний робот, к примеру, может заметить, что вы идете по коридору, отъехать в сторону, пропуская вас, и возобновить уборку после вашего ухода.

Однако по мере повышения дееспособности роботов умения всего-навсего воспринимать людей как постоянно движущиеся препятствия становится недостаточно. Ведь перестроения водителя-человека из ряда в ряд на дороге не подразумевают последовательного движения в том же направлении, пусть он и продолжит двигаться прямо после перестроения. Когда тянешься к чему-то, нередко натыкаешься на другие предметы и перебираешь их, пока не отыщешь нужный. Когда идешь по коридору, то движешься к пункту назначения: можно повернуть направо, в спальню, или налево, в гостиную. Предположение, будто мы ничем не отличаемся от катящегося шара, провоцирует неэффективную реакцию: