во всем этом активную роль, как и Кай Юй, китайский ученый, который впоследствии перейдет в Baidu. Впоследствии Хинтон сравнил сплоченную работу этого коллектива с дуэтом Боба Вудворда и Карла Бернстайна, которые решили сотрудничать, а не соперничать, когда расследовали Уотергейтское дело. Это давало возможность обмениваться идеями. В Торонто одной из удачных идей было придумать для этой очень старой технологии новое название.

Когда Хинтон в день своего шестидесятилетия читал лекцию на ежегодной конференции NIPS, проходившей тогда в Ванкувере, он впервые использовал словосочетание «глубокое обучение» (deep learning). Это был хитроумный ребрендинговый ход. В плане работы с многослойными нейронными сетями в «глубоком обучении» не было ничего нового. Но это был яркий, вызывающий эмоциональную реакцию термин, призванный помочь активизировать исследования в области, которая снова впала в немилость. Он понял, что название было выбрано удачно, когда в середине лекции он сказал, что все остальные занимаются «поверхностным обучением», и аудитория встретила его слова одобрительным смехом. В долгосрочной перспективе это оказался мастерский ход. Благодаря ему авторитет крошечной группы исследователей, работавших фактически на задворках большой науки, сразу же возрос. К одной из конференций NIPS кто-то снял видеомистификацию, в которой группа людей присягает глубокому обучению, так словно речь идет о религиозной секте типа саентологов или Храма народов.

«Когда-то я был рок-музыкантом, – говорит один из новообращенных. – А потом я постиг глубокое обучение».

«Хинтон – вождь, – говорит другой. – Идите за ним».

Это было забавно, потому что это было правдой. Речь шла об идеях, которые витали в воздухе уже несколько десятилетий, но ценность которых так никогда и не была доказана. Однако кто-то продолжал в них верить.

Спустя пятьдесят лет после летней конференции, положившей начало разработкам ИИ, Марвин Мински и многие другие отцы-основатели съехались в Дартмут, чтобы отпраздновать юбилей. На этот раз к трибуне вышел Мински, а из аудитории ему стал возражать другой человек. Это был Терри Сейновски, к тому времени переехавший из Балтимора в Сан-Диего и ставший профессором Института Солка. Сейновски сказал Мински, что некоторые исследователи ИИ видят в нем дьявола, потому что он и его книга остановили прогресс нейронных сетей.

«Вы действительно дьявол?» – спросил Сейновски. Мински отмахнулся от вопроса и снова стал говорить о многочисленных недостатках и ограничениях искусственных нейронных сетей и справедливо указывать, что они никогда не делали того, что должны были делать.

Тогда Сейновски снова спросил: «Вы все-таки дьявол?»

Потерявший терпение Мински наконец ответил: «Да, я такой».

Глава 4

Прорыв. «Делай в Google то, что хочешь ты, а не то, что хочет от тебя Google»

Одиннадцатого декабря 2008 года Ли Дэн вошел в один из отелей города-курорта Уистлера, расположенного к северу от Ванкувера в Британской Колумбии, у подножия заснеженных гор, где в 2010 году проходили горнолыжные соревнования в рамках зимних Олимпийских игр. Он приехал сюда не на лыжах кататься. Он был там ради науки. Каждый год сотни исследователей приезжали в Ванкувер на ежегодную конференцию NIPS, посвященную искусственному интеллекту, а после ее окончания большинство участников совершали короткую поездку в Уистлер для более тесных «семинаров», связанных с проблематикой NIPS: два дня научных докладов, ученых дебатов и неформальных разговоров в коридоре, которые помогали оценить ближайшее будущее ИИ. Родившийся в Китае и получивший образование в США, Дэн на протяжении всей своей карьеры создавал программное обеспечение, предназначенное для распознавания речи, сначала в должности преподавателя в Университете Ватерлоо в Канаде, а затем в должности исследователя в центральной научно-исследовательской лаборатории Microsoft под Сиэтлом. Такие компании, как Microsoft, продавали программы распознавания речи уже более десяти лет, позиционируя эту технологию как способ автоматического преобразования в письменный текст записей вашего голоса на диктофон, но приходилось признать, что эта система работала не так хорошо, как хотелось бы, и слишком часто неправильно воспринимала слова, которые вы произносили в микрофон. Как и большинство разработок ИИ в то время, эта технология совершенствовалась слишком медленно. В Microsoft Дэн и его команда потратили три года на создание последней версии системы распознавания речи, и она работала хорошо если процентов на пять точнее, чем предыдущая. И вот однажды вечером в Уистлере он наткнулся на Джеффа Хинтона.

Он знал Хинтона еще со времен работы в Канаде. В начале 1990-х, в период краткого ренессанса коннекционистских исследований, один из аспирантов Дэна105 написал диссертацию, посвященную возможностям использования нейронных сетей в целях распознавания речи, и Хинтон, к тому времени занявший место профессора в Торонто, принял участие в работе ученого совета, рассматривавшего диссертацию. В последующие годы, когда интерес к коннекционизму в широких научных кругах снова угас, эти двое ученых мало пересекались. Хотя Хинтон продолжал твердо держаться своей веры в нейронные сети, распознавание речи рассматривалось им лишь как второстепенное побочное явление, и его лаборатория в Торонто этим практически не занималась – а это означало, что он и Дэн вращались в совершенно разных кругах. Но когда они оказались в одном и том же конференц-зале в отеле Hilton Whistler Resort and Spa – почти пустом зале, где несколько исследователей сидели за столами, ожидая, когда кто-нибудь задаст им вопросы об их последних разработках, – Дэн и Хинтон сразу же разговорились. Дэн, чрезвычайно возбудимый и очень разговорчивый, легко вступал в беседы с кем угодно. У Хинтона был свой план.

– Что нового? – спросил Дэн.

– Глубокое обучение, – ответил Хинтон. – Нейронные сети, – сказал он, – начинают показывать успехи в распознавании речи.

Дэн не очень-то поверил. Хинтон в прошлом практически не занимался методами распознавания речи, а нейронные сети еще никогда и ни в чем не показывали настоящих успехов. В Microsoft Дэн разрабатывал свой собственную методику распознавания речи, и у него не было времени пускаться в очередную погоню за призрачными алгоритмами. Но Хинтон настаивал. Его исследованиям не уделяется достаточно внимания, сказал он, но за последние несколько лет он и его ученики опубликовали ряд работ, в которых подробно описываются его глубокие сети доверия, способные обучаться на гораздо больших объемах данных, чем это позволяли предыдущие методы, и по эффективности его метод распознавания речи уже приближается к лидирующим технологиям в этой области. «Вы должны это попробовать», – твердил Хинтон. Дэн пообещал, что попробует, и они обменялись почтовыми адресами. Потом прошли месяцы.

Летом, когда у Дэна появилось больше свободного времени, он решил-таки почитать литературу о возможностях распознавания речи при помощи нейронных сетей, и эффективность этой технологии так его впечатлила, что он написал Хинтону письмо, предложив организовать в Уистлере новый семинар вокруг этой