«Кто-нибудь когда-нибудь обучал сети по 2000 часов?» – спросил он.

«Нет, – ответил Хинтон. – Но я не вижу в этом ничего невозможного».

Уехав в Монреаль и оттуда подключившись к этой гудящей рабочей станции через интернет, Джейтли обучил свою первую нейронную сеть менее чем за неделю. Тестирование новой системы показало, что она ошибалась в определении слов примерно в 21 проценте случаев – и это был замечательный результат. Сервис распознавания речи Google, используемый в большинстве Android-смартфонах, застрял на уровне 23 процентов. Еще через две недели Джейтли удалось снизить уровень ошибок своей системы до 18 процентов. Прежде чем Джейтли приступил к испытаниям, Ванук и его команда рассматривали этот проект просто как интересный эксперимент. Они и мысли не допускали, что ему удастся хотя бы приблизиться к тому, что уже удалось создать специалистам Google. «Мы были уверены, что мы на голову выше, – говорит Ванук. – Как оказалось, мы заблуждались».

Система работала так хорошо и обучалась так быстро, что Джейтли подготовил вторую сеть, которая была обучена искать видео на YouTube по определенным ключевым словам, произносимым вслух (например, если вы попросите ее найти слово «сюрприз», она точно укажет на те моменты в видеоролике, когда это слово было произнесено). У Google уже был сервис, который делал то же самое, но в 53 процентах случаев ключевое слово воспринималось неверно. Еще до исхода лета Джейтли снизил частоту ошибок в своей системе до 48 процентов. И все это он делал почти исключительно своими силами. Как ему повезло, что он был в Монреале, думал он, потому что там никто не стоял над душой, никто не мешал. Он полностью погрузился в работу, забыв обо всем на свете. Каждый день он работал до одиннадцати вечера, а то и до полуночи. И когда он возвращался домой, жена передавала ему ребенка, который почти всю ночь не спал из-за колик. Назавтра все повторялось, но он не сказал бы, что ему было тяжело. «Это затягивало почти как наркотик, – говорит он. – Результаты становились все лучше».

Когда Джейтли вернулся с семьей в Торонто, Ванук переключил на этот проект всю свою команду. В Google знали, что Microsoft и IBM разрабатывают схожие технологии, и хотели достичь успеха первыми. Проблема была в том, что система Джейтли работала слишком медленно, чтобы обрабатывать «живые» запросы через интернет. Никто не стал бы пользоваться ею на такой скорости. Ее нужно было увеличить раз в десять. Когда специалисты из группы Ванука занялись этой проблемой, к ним присоединилась вторая команда из совершенно другого подразделения компании. Случилось так, что пока Джейтли трудился над своим проектом в Монреале, несколько других ученых, включая еще одного протеже Хинтона, создавали специальную лабораторию глубокого обучения в калифорнийской штаб-квартире компании. В сотрудничестве с группой Ванука эта новая лаборатория сумела менее чем за шесть месяцев перенести эту технологию на Android-смартфоны. В Google не сразу сообщили миру, что их сервис распознавания речи изменился, и вскоре после того, как он стал доступен пользователям, Вануку позвонили из небольшой компании, поставлявшей специальный чип для новейших телефонов на базе Android. Этот чип был призван удалять фоновый шум и делать звучание голоса более чистым, когда вы произносите голосовые команды в свой телефон, – чтобы система распознавания речи могла легче понять сказанное. Но теперь Вануку сообщили, что этот чип перестал работать. Он больше не способствовал повышению эффективности распознавания речи. Вануку не потребовалось много времени, чтобы понять, что на самом деле произошло.

Новая система распознавания речи была настолько хороша, что чип шумоподавления становился излишним. Больше того, без этого чипа она работала даже лучше. Нейронная сеть Google научилась сама справляться с шумом.

Глава 5

Доказательство. «Раньше скорость света в вакууме составляла около 35 миль в час. Затем Джефф Дин за выходные оптимизировал физику»

Эндрю Ын сидел в японском ресторане рядом со штаб-квартирой Google и ждал Ларри Пейджа. Основатель и генеральный директор Google задерживался, что Ына не удивляло. Это был конец 2010 года, и за предыдущие годы Google из небольшой, но невероятно прибыльной компании, специализирующейся на поиске информации в интернете, превратилась в самую могущественную силу Всемирной паутины, технологическую империю, которая доминировала везде и во всем – от личной электронной почты до онлайн-видео и смартфонов. Ын, профессор информатики из соседнего Стэнфордского университета, сидел за столиком у стены. Ему казалось, что будет меньше шансов, что Пейджа узнают и начнут приставать с расспросами, если они не будут маячить в центре ресторана, а уединятся в уголке. Пока он ждал, к нему подсел один из его коллег по Стэнфорду, Себастьян Трун. Трун взял в университете отпуск за свой счет, когда Пейдж попросил его заняться проектом, о котором только недавно стало известно всему миру: Google’овским беспилотным автомобилем109. Теперь, взяв Труна в посредники, Ын собирался предложить Пейджу новую идею.

Тридцатичетырехлетний Ын, высокий мужчина, всегда говоривший тихо, почти шепотом, подготовил в своем ноутбуке график, призванный наглядно объяснить его идею, но, когда Пейдж наконец пришел и присоединился к ним за столиком, Ын решил, что вытаскивать ноутбук из сумки во время обеда с генеральным директором Google было не совсем правильно. Поэтому он обрисовал идею при помощи рук. Линия графика, показал он, идет вверх и вправо. По мере того как нейронная сеть анализирует все больше и больше исходных данных, она становится все более и более точной, независимо от того, распознает она образы, звуки или язык. А в чем у компании Google нет недостатка, так это во всевозможных исходных данных – тонны фотографий, видео, голосовых команд и текста, собранных с помощью таких сервисов, как Google Search, Gmail и YouTube, и за годы невозможно было бы исчерпать. Ын занимался темой глубокого обучения в своей лаборатории в Стэнфорде, и теперь он надеялся, что Google поддержит эти исследования всей своей мощью. Трун занимался созданием беспилотного автомобиля в новой секретной лаборатории перспективных исследований, получившей название Google X. То, что предлагал Ын, могло бы стать еще одним чрезвычайно перспективным проектом для этой лаборатории.

Родившийся в Лондоне и выросший в Сингапуре, Ын был сыном гонконгского врача. Он изучал компьютерные науки, экономику и статистику в Университете Карнеги – Меллона, Массачусетском технологическом институте и Калифорнийском университете в Беркли, после чего перебрался в Стэнфорд, где его первым крупным проектом были автономные вертолеты. Вскоре он женился на женщине, которая тоже занималась робототехникой. О своей