Еще одним методом ИИ, который на достаточном количестве примеров может обучить Q-функцию, является глубокое обучение. Если дополнить его глубокими сверточными нейронными сетями, получится создать ИИ, способный видеть, изучать ценность отдельных действий и выбирать лучшие для исполнения. Используя такие (и многие другие) комбинации ИИ, компания Google Deepmind создала ИИ, который научился играть в видеоигры лучше, чем люди, просто анализируя отдельные пиксели на экране и получая очки в игре, нажимая на кнопки джойстика.

Некоторые виды неконтролируемого обучения, например дистанционное, продолжают развиваться, чтобы идти в ногу со временем. Это очень важно, ведь наш мир никогда не стоит на месте. Если выученное правило применяется независимо от меняющихся условий, могут возникнуть проблемы. К примеру, компания Uber встроила в свое приложение правило, согласно которому рост спроса приводил к автоматическому увеличению цен на поездки. Это могло бы стать очень хорошим способом увеличить доход, но имело ужасные последствия 15–16 декабря 2014 года в Сиднее, когда боевик взял в заложники 18 человек в кафе.

Несколько улиц на время были перекрыты, и спрос на поездки в этом районе резко вырос, что вызвало автоматическое повышение цен из-за системы динамического ценообразования. Алгоритм не имел представления о причине дополнительного спроса и просто слепо следовал правилу, в результате чего в СМИ появилась масса критических статей о Uber: казалось, что компания использовала ужасное событие, чтобы нажиться на нем. (Впоследствии разница в стоимости поездок была возмещена.)

С помощью алгоритма дистанционного обучения машинное обучение может отслеживать меняющиеся условия. Этот подход полезен в системах обнаружения сетевых вторжений, где обычная структура интернет-трафика с течением времени меняется, когда люди ищут что-то, а хакеры, пытающиеся получить несанкционированный доступ, постоянно пробуют новые приемы, чтобы взять под контроль компьютерную систему и украсть данные или требовать выкуп. Системы обнаружения аномалий предназначены для решения таких проблем – путем построения внутренней модели нормального поведения, которая постоянно обновляется, и в то же время за счет выявления любого поведения, чрезмерно отклоняющегося от этой нормы. Некоторые системы обнаружения аномалий даже смоделированы по принципу работы иммунной системы человека, поскольку проблемы в целом оказываются сходными. Каждый день она должна отличать наши клетки (а мы состоим из триллионов клеток и еще большего количества бактерий в кишечнике) от патогенных микроорганизмов, которые пытаются проникнуть в наши тела, и многие из них могут быть совершенно новыми, только что мутировавшими видами. Наша иммунная система поддерживает постоянно меняющийся набор иммунных клеток и антител, предназначенных для борьбы с потенциально вредными захватчиками, которые отличаются от нас. Компьютерные алгоритмы, основанные на тех же идеях, дали удивительные результаты, а также их успешно использовали для обнаружения мошенничества и даже управления роботами.

Существует множество различных типов неконтролируемого обучения, у каждого из которых есть свои преимущества и недостатки. Одни могут использоваться для поиска важных переменных или функций, скрытых в данных, другие определяют конфигурации объектов или изучают кластеры, третьи способны даже обучать сами себя поведенческой политике или контролировать себя. Однако, когда ИИ обучает себя, нет никакой гарантии, что он поймет более широкий контекст того, что он изучает. ИИ объединяет данные в группы, которые порой оказываются трудными для понимания, кроме того, эти группы могут меняться со временем по мере поступления новых данных. И если контролируемое обучение дает четкое и измеримое представление о точности, в неконтролируемом, когда нет правильных и неправильных примеров для сравнения, – повысить точность довольно сложно. Это захватывающая область ИИ, но в ней еще много нерешенных проблем. «По большей части обучение у людей и животных неконтролируемое, – говорит Ян Лекун, главный научный сотрудник по ИИ в Facebook. – Если представить, что интеллект – это торт, то неконтролируемое обучение – это корж, обучение под наблюдением – глазурь, а обучение с подкреплением – вишенка на торте. Мы знаем, как приготовить глазурь и вишенку, но не знаем, как испечь торт».