виртуальную имитацию руки и куба. Внутри этой виртуальной реальности рука училась собирать кубик методом проб и ошибок. Она потратила десять тысяч лет (в эквиваленте), вращая грани туда-сюда и замечая, какие движения эффективны, а какие нет. Дополнительным усложняющим фактором было то, что на протяжении этих десяти тысяч виртуальных лет сам виртуальный мир постоянно менялся. Заремба и его команда неоднократно меняли размер пальцев и цвета куба, а также силу трения между гранями и даже цвета в пустом пространстве за кубом. Это призвано было гарантировать, что, когда они перенесут весь этот виртуальный опыт в реальный мир, реальная рука сможет совладать с любыми неожиданностями. Она сможет справиться с непредсказуемостью физического мира, с которой люди справляются легко, а машины зачастую не могут. К осени 2019 года роботизированная рука OpenAI могла собрать кубик Рубика и со связанными вместе двумя пальцами, и в резиновой перчатке, и когда кто-то мешал ей, подталкивая кубик мордой игрушечного жирафа.

* * *

С 2015 по 2017 год компания Amazon проводила ежегодный конкурс для специалистов по робототехнике. В последний год этого международного конкурса в нем участвовали семьдесят пять научных лабораторий, каждая из которых работала над созданием роботизированной системы, способной решить проблему, стоявшую перед глобальной складской сетью Amazon: проблему комплектации заказов. Через гигантские склады Amazon протянуты конвейерные линии, по которым движутся контейнеры с заказанными товарами, а складские рабочие роются в этих контейнерах, раскладывая нужные товары по нужным коробкам, чтобы потом отправить укомплектованные заказы покупателям в разные уголки страны. Руководство Amazon хотело, чтобы эту работу выполняли роботы. В конечном итоге, если бы эту работу можно было автоматизировать, она обходилась бы дешевле. Только вот подходящих роботов в наличии не было. Поэтому-то Amazon и объявила конкурс, предложив 80 000 долларов тем разработчикам, которые смогли бы ближе других подойти к решению этой проблемы.

В июле 2017 года шестнадцать финалистов из десяти стран отправились в японский город Нагоя, где состоялся последний тур конкурса. Каждой команде, которая в течение года готовилась к конкурсу, был выдан контейнер с тридцатью двумя разными предметами, о шестнадцати из которых они знали заранее, а о других шестнадцати не знали. Там были самые разные товары: средство для мытья окон, лотки для льда, упаковки теннисных мячей, коробки с фломастерами, рулоны изоленты… Задача заключалась в том, чтобы за пятнадцать минут укомплектовать заказ, включающий в себя не менее десяти предметов. Роботизированная рука, одержавшая победу, принадлежала команде из Австралийского центра роботизированного зрения. Но надо сказать, что по человеческим меркам производительность и эффективность этого робота не впечатляла. Примерно в десяти процентах случаев он выбирал не тот товар, и за час он мог отобрать лишь около ста двадцати товаров, что было почти вчетверо медленнее по сравнению с человеком.

Если конкурс что-то и показал, так это то, насколько трудна была задача даже для самого ловкого робота. Но интерес, который он вызвал, свидетельствовал о том, насколько прибыльным может оказаться прорыв в этой области: Amazon – и компании, аналогичные ей, – отчаянно нуждалась в работоспособных технологиях такого рода. Как выяснилось, решение уже назревало как в Google, так и в OpenAI.

После создания в Google Brain медицинской команды, Джефф Дин обратил свой взор на робототехнику. Одним из первых в новую группу наняли молодого сотрудника Калифорнийского университета в Беркли Сергея Левина. Левин вырос в Москве, где родители работали инженерами и участвовали в проекте «Буран», советской версии «космического челнока». Он переехал в Соединенные Штаты, еще будучи школьником, потом окончил вуз, поступил в аспирантуру, но искусственным интеллектом никогда не занимался. Он специализировался на компьютерной графике, исследуя способы создания более реалистичных видов анимации – виртуальных людей, которые вели себя как настоящие люди. Совершенствование технологии глубокого обучения помогло ускорить прогресс и его исследований. С помощью тех же методов, которые специалисты из DeepMind использовали для создания систем, учившихся играть в старые аркадные видеоигры, анимационные фигурки Левина учились двигаться, как люди. И тут ему пришло новое откровение. Наблюдая за тем, как эти виртуальные гуманоиды учатся двигаться подобно человеку, он понял, что и физические роботы-гуманоиды могли бы обучаться тем же движениям почти таким же образом. Если он применит эти методы машинного обучения к роботам, они смогут самостоятельно осваивать совершенно новые навыки.

Ко времени перехода в Google в 2015 году, Левин уже знал Илью Суцкевера, еще одного эмигранта из России, и Суцкевер познакомил его с Алексом Крижевским, который начал тесно сотрудничать с новой группой робототехники. Если у него когда-либо возникала проблема, Левин обращался за помощью к Крижевскому, и тот всегда давал один и тот же совет: собирай больше данных. «Если у тебя есть данные, и это правильные данные, – говорил Крижевский, – тогда просто возьми их побольше». Так Левин и его команда построили систему, получившую название Arm Farm («фабрика рук»).

В одном из зданий, расположенном неподалеку от лаборатории Google Brain, в большом открытом помещении они разместили дюжину роботизированных манипуляторов – шесть «рук» у одной стены, шесть – у другой. Они были более простой конструкции, чем рука, которая позже собрала кубик Рубика в лаборатории OpenAI. Кисти на этих руках не походили на человеческие. Это были скорее «ухваты», которые могли захватывать и поднимать предметы двумя «пальцами», больше похожими на зажим. Той осенью Левин и его команда занимались обучением этих рук: каждая рука зависала над корзиной со случайными предметами – детскими кубиками, губками для стирания с доски, тюбиками с губной помадой – и училась собирать все, что там было. Руки тренировались путем многократных проб и ошибок, делая удачные и неудачные попытки взять тот или иной предмет и запоминая, какие действия эффективны, а какие нет. Это было очень похоже на то, как системы DeepMind учились играть в Space Invaders и Breakout, вот только происходило это в реальном мире с реальными предметами.

Сначала был хаос. «Это был сплошной беспорядок, – говорит Левин, – ужасный беспорядок». По совету Крижевского, они держали роботов в рабочем состоянии круглосуточно и установили камеру, которая позволяла видеть, что происходит в комнате. За ночь и в выходные дни роботы устраивали в помещении настоящий кавардак. В понедельник утром ученые заходили в лабораторию и обнаруживали, что пол завален всякой всячиной, словно в детской комнате. Однажды утром они, войдя, обнаружили, что одна корзина была словно кровью забрызгана. Оказалось, с тюбика помады сорвался колпачок, и рука всю ночь пыталась этот тюбик поднять, но безуспешно. Но именно это и хотел видеть Левин. «Это замечательно, – говорит он. – Если