нужный случай, либо прикинет, нет ли какой-то причинно-следственной связи, иллюстрирующей такое событие, либо задумается над тем, насколько конкретное событие совпадает с его ожиданиями. Каждая эвристика представляет собой разумную стратегию, позволяющую избежать сложных вероятностных вычислений, но чревата ошибками. Скажем, легкость порождения событий по памяти для оценки вероятности приводит к тому, что мы завышаем вероятность таких экстремальных (и, следовательно, чрезвычайно запоминающихся) событий, как террористические атаки.

Эвристика обеспечивает более точную модель человеческого познания, но ее трудно обобщить. Как мы узнаем, какие эвристики люди могут использовать в конкретной ситуации? Нет ли тут какой-то другой эвристики, которую они используют, но которую мы не сумели обнаружить? Точное представление о поведении людей в новой ситуации сформировать непросто; ведь как узнать, будут ли они опираться на образцы, порождаемые по памяти, придумывать причинно-следственные связи или искать сходства?

В конечном счете нам нужно описывать работу человеческого разума способом, который обладает универсальностью рациональных моделей и точностью эвристики. Для достижения этой цели можно начать с рациональности и изучить перспективы углубления ее реалистичности. Но проблема опоры на рациональность для описания поведения любого реального агента состоит в том, что во многих ситуациях для расчета рациональных действий требуется, чтобы агент обладал огромным количеством вычислительных ресурсов. Быть может, использование такого объема ресурсов будет обоснованным в случае, когда принимается чрезвычайно важное и взвешенное решение и когда имеется достаточно времени для перебора и оценки вариантов; но большинство человеческих решений принимается быстро и без особых раздумий. В любой ситуации, когда важно время, которое тратится на принятие решения (по крайней мере, потому, что это время можно потратить на какое-то другое занятие), классическое представление о рациональности перестает восприниматься как рецепт правильного поведения.

Для разработки более реалистичной модели рационального поведения необходимо принять во внимание стоимость вычислений. Реальные агенты должны оценивать количество времени, потраченного на размышления, и учитывать последствия этих размышлений для итогового решения. Если вы выбираете зубную щетку, вряд ли разумно изучить все четыре тысячи зубных щеток на сайте Amazon.com перед совершением покупки: результат не оправдает временны́х затрат на поиск информации. Компромисс здесь возможно формализовать, что позволяет создать модель рационального поведения, которую исследователи искусственного интеллекта называют моделью с «ограниченной оптимальностью». Ограниченно оптимальный агент фокусируется не на том, чтобы всегда точно выбирать правильное действие, а на поиске правильного алгоритма, которому нужно следовать для нахождения идеального баланса между ошибками и чрезмерным тщанием.

Ограниченная оптимальность устраняет разрыв между рациональностью и эвристикой. Описывая поведение как результат рационального выбора объема времени на размышления, она предлагает нам универсальную теорию, которая может применяться к новым ситуациям. Иногда простые стратегии, воспринимаемые как эвристики, которым следуют люди, оказываются решениями ограниченной оптимальности. Потому не стоит спешить и называть очередную эвристику иррациональной; почему бы не трактовать ее как рациональный ответ на ограничения вычислений?

Разработка модели ограниченной оптимальности как теории человеческого поведения продолжается; к этому причастны моя исследовательская группа и другие ученые. Если наши усилия увенчаются успехом, у нас появится важнейший элемент, необходимый для придания системам искусственного интеллекта большей интеллектуальности при интерпретации человеческих действий через модели поведения.

Принимать во внимание вычислительные ограничения, влияющие на человеческое познание, особенно важно при разработке автоматизированных систем, которые не подчиняются данным ограничениям. Вообразите сверхразумную систему искусственного интеллекта, которая пытается выяснить, что конкретно заботит людей. Думаю, лекарство от рака или доказательство гипотезы Римана вряд ли будут восприняты таким ИИ как наша первостепенная забота: если эти решения окажутся очевидными для сверхразумной системы, наверняка возникнет вопрос, почему мы сами с ними не справились; следовательно, в реальности эти проблемы нас мало беспокоят. Иначе, при условии, что решение найти несложно, мы бы давным-давно во всем разобрались. Значит, разумно допустить, что мы занимаемся наукой и математикой исключительно потому, что нам нравится заниматься наукой и математикой, а не потому, что нам важны результаты.

Любой, у кого есть маленькие дети, может оценить проблему интерпретации поведения агента с вычислительными ограничениями, отличными от его собственных. Родители малышей могут часами разгадывать истинные мотивы, стоящие за, казалось бы, необъяснимым поведением. Как отец и ученый, я обнаружил, что понять внезапное буйство моей двухлетней дочки проще, когда сообразил, что в ее возрасте уже сознаешь – у разных людей есть разные желания, но еще не усвоил, что другие люди не в состоянии узнать твои желания. Тогда стало понятным, почему моя дочка злилась, когда люди не делали того, чего ей (как она полагала, совершенно явно) хотелось. Осмысление поведения малышей требует создания когнитивных моделей их разума. Сверхразумные системы ИИ сталкиваются с той же проблемой, когда пытаются понять поведение человека.

Наверное, до по-настоящему сверхразумного ИИ еще далеко. В ближайшем будущем нужно сосредоточиться на разработке более совершенных моделей человеческого поведения; это будет крайне полезно для любой компании, зарабатывающей на анализе человеческого поведения, то есть, если уж на то пошло, практически для любой компании, которая ведет бизнес в интернете. В последние несколько лет появились новые коммерческие технологии распознавания изображений и текста – на основе разработки надежных моделей репрезентации зрения и языка. Следующим рубежом станут надежные модели поведения.

Конечно, понимание того, как работает человеческий разум, само по себе не позволит улучшить взаимодействие компьютеров с людьми. Компромисс между ошибками и чрезмерным тщанием, характеризующий человеческое познание, есть компромисс, с которым сталкивается любой реальный интеллектуальный агент. Люди суть поразительный пример систем, которые действуют разумно, несмотря на значительные вычислительные ограничения. Мы достаточно преуспели в разработке стратегий, которые позволяют успешно преодолевать проблемы, не прилагая излишних усилий. Если описать, как именно мы это делаем, компьютеры смогут трудиться умнее, а не усерднее.

Глава 13

Ввести человека в уравнение ИИ

Анка Драган

доцент кафедры электротехники и компьютерных наук в Калифорнийском университете (Беркли), сооснователь и руководящий сотрудник лаборатории исследований ИИ в Беркли (BAIR), а также ведущий научный сотрудник Центра изучения совместимости ИИ с человеком.

Исследования уроженки Румынии Анки Драган сосредоточены на алгоритмах, которые позволят роботам взаимодействовать с людьми на благо последних. Она руководит лабораторией «Inter ACTL» в Беркли, и там ее студенты изучают различные области роботизации (помощь больным и нетрудоспособным, производство, беспилотные автомобили), опираясь на современные достижения в оптимальном управлении, планировании, машинном обучение и когнитивных науках. Хотя ей чуть больше тридцати, она уже успела опубликовать ряд научных статей в соавторстве с ветераном исследований ИИ и своим наставником Стюартом Расселом; в этих статьях рассматриваются различные аспекты машинного обучения и сложные проблемы выравнивания ценностей.

Она разделяет озабоченность Рассела безопасностью ИИ. «Непосредственный риск представляют собой агенты, демонстрирующие