Суть в том, чтобы такая теорема выполнялась независимо от того, насколько умными стали компоненты, — то есть судно никогда не дало бы течь и машина всегда оставалась бы полезной для людей.

Имеет смысл отметить еще три момента в отношении теорем этого типа. Во-первых, нечего и пытаться доказать, что машина ведет себя оптимально (или хотя бы близким к оптимальному образом) по отношению к нам, потому что это почти наверняка невозможно сделать путем вычислений. Например, мы можем захотеть, чтобы машина безупречно играла в го, но есть все основания полагать, что это не может быть сделано за любой разумный промежуток времени в любой физически реализуемой машине. Поэтому в теореме говорится о «наилучшем возможном», а не «оптимальном» поведении.

Во-вторых, мы говорим «с очень высокой вероятностью…очень близко», потому что это обычно лучшее, чего можно добиться от обучающейся машины. Скажем, если машина учится играть в рулетку в наших интересах и 40 раз подряд выпадает зеро, машина может обоснованно заключить, что имеет место жульничество, и делать соответствующие ставки. Однако это все-таки может быть и случайностью, таким образом, всегда есть малая, возможно, исчезающе малая, вероятность заблуждения из-за дурацкого совпадения. Наконец, нам еще очень далеко до способности доказать подобную теорему для реальных интеллектуальных машин, действующих в реальном мире!

В сфере ИИ есть и аналог атаки по сторонним каналам. Например, теорема начинается с фразы: «Предположим, машина имеет компоненты А, В и С, соединенные друг с другом таким-то образом…» Это типично для всех теорем о корректности в программировании: они начинаются с описания программы, корректность которой доказывается. В сфере ИИ мы обычно проводим различие между агентом (программой, принимающей решения) и средой (в которой действует агент). Поскольку мы разрабатываем агента, представляется разумным предположить, что он имеет ту структуру, которую мы ему придаем. Для дополнительной безопасности мы можем доказать, что процесс обучения в состоянии изменить эту программу лишь определенными описанными методами, не способными привести к проблемам. Достаточно ли этого? Нет. Как и в случае атаки по сторонним каналам, допущение, что программа действует внутри цифровой системы, некорректно. Даже если алгоритм обучения в силу своей структуры не способен переписать собственный код цифровыми средствами, он тем не менее может научиться тому, как убедить людей сделать ему «операцию на мозге», — нарушить разграничение между агентом и средой и изменить код физическими средствами[252].

В отличие от логики строительного конструирования с ее жесткими балками, мы имеем очень мало опыта работы с допущениями, которые впоследствии лягут в основу теорем о доказуемо полезном ИИ. Скажем, в этой главе мы будем обычно иметь в виду рационального человека. Это несколько отличается от допущения о жесткой балке, поскольку в реальности совершенно рациональных людей не существует. (Вероятно, ситуация намного хуже, так как люди даже не приближаются к рациональности.) Теоремы, которые мы можем доказать, обещают дать нам определенное понимание, которое выдержит даже включение некоторой степени случайности человеческого поведения, но до сих далеко не ясно, что происходит, если учитывать сложность реальных людей.

Таким образом, мы должны быть очень внимательными при анализе своих допущений. Успешно доказав безопасность системы, мы должны убедиться, что успех не стал следствием нереалистично сильных предположений или слишком расплывчатого определения безопасности. Если доказательство безопасности оказывается несостоятельным, нужно избегать искушения усилить предположения, чтобы доказательство заработало, — например, добавив допущение, что программный код остается неизменным. Наоборот, мы должны «закрутить все гайки» в дизайне ИИ-системы, к примеру гарантировав, что у нее нет стимула для изменения критических элементов своего кода.

Некоторые допущения я отношу к категории НТММРПД (аббревиатура от «ну тогда мы можем расходиться по домам»), а именно — если эти допущения ложны, то игра закончена и сделать ничего нельзя. Например, разумно предположить, что Вселенная функционирует согласно постоянным и до некоторой степени выявляемым законам. Если это не так, у нас нет гарантии, что процессы обучения — даже самые изощренные — вообще сработают. Другое базовое допущение состоит в том, что людям не все равно, что происходит; в ином случае доказуемо полезный ИИ не имеет смысла, ведь само понятие пользы бессмысленно. Здесь «не все равно» означает наличие более или менее последовательных и устойчивых предпочтений в отношении будущего. В следующей главе я рассматриваю следствия пластичности человеческих предпочтений, представляющей серьезный философский вызов для самой идеи доказуемо полезного ИИ.

Пока что я сосредоточиваюсь на простейшем случае — мире, где есть один человек и один робот. Этот случай позволяет представить основные идеи, но полезен и сам по себе: представьте, что один человек представляет все человечество, а один робот — все машины. При рассмотрении множества людей и множества машин возникают дополнительные сложности.

Экономисты судят о предпочтениях людей, предлагая им сделать выбор[253]. Этот прием широко используется в разработке продуктов, маркетинге и интерактивных системах электронной торговли. Например, предложив испытуемым на выбор автомобили, отличающиеся цветом, расположением мест, величиной багажника, емкостью батареи, наличием держателей для чашек и т. д., конструктор автомашин узнает, насколько важны для людей различные характеристики машины и сколько они готовы за них заплатить. Другое важное применение этот метод находит в медицине: онколог, рассматривающий возможность ампутации конечности, может захотеть знать, что важнее для пациента — мобильность или ожидаемая продолжительность жизни. Разумеется, пиццерии хотят знать, насколько больше человек готовы заплатить за пиццу с колбасой по сравнению с простой пиццей.

Оценка предпочтений обычно рассматривает лишь единичный выбор между объектами, ценность которых считается очевидной для тестируемого. Непонятно, как перенести этот метод на предпочтения в отношении будущей жизни. Поэтому мы (и машины) должны учиться путем наблюдения за поведением, включающим множественные варианты выбора и неопределенные результаты.

Еще в 1997 г. мы с моими коллегами Майклом Дикинсоном и Бобом Фуллом обсуждали, как можно было бы применить идеи из области машинного обучения для понимания двигательной активности животных. Майкл в мельчайших деталях изучал движение крыльев плодовых мушек. Боб был в восторге от многоногих тварей и устроил небольшую беговую дорожку для тараканов, чтобы наблюдать, как их «аллюр» меняется со скоростью. Мы думали, что удастся использовать обучение с подкреплением, чтобы научить роботизированное или смоделированное насекомое воспроизводить эти сложные действия. Проблема заключалась в том, что мы не знали, какой вознаграждающий сигнал использовать. Что оптимизировали плодовые мушки и тараканы? Без этой информации мы не могли применить обучение с подкреплением для тренировки виртуального насекомого и застряли.