У нас с Мейей прошла очень вдохновившая нас беседа с Маском в нашей комнате в отеле, во время которой он благословил наш подробный план программы грантов. Мейю очень тронуло, насколько ясно и просто он рассказывал о своей частной жизни и какой интерес проявил к нашей. Он спросил нас о нашей встрече, и обстоятельный рассказ Мейи очень ему понравился. На следующий день мы записывали интервью с ним о AI-безопасности и о том, почему он поддерживает такие исследования. Все шло как по маслу.

Высшая точка нашего собрания — объявление о дотации Маска, оно было назначено на воскресенье, 4 января 2015 года, на 7 часов вечера. Я был так взволнован, что полночи проворочался без сна. А потом, всего за тринадцать минут до нашей предполагавшейся встречи, после чего мы должны были пойти на собрание, вдруг все рухнуло! Позвонил секретарь Маска и сказал, что Маск, похоже, не сможет прийти и сделать свое объявление. Мейя говорит, что она никогда не видела меня таким потрясенным и разочарованным. Но Маск все же пришел, и я слышал, как секунда отсчитывается за секундой, приближая начало собрания, пока мы сидели и разговаривали. Он объяснял, что до запуска SpaceX остается всего два дня, для них это жизненно важный этап, и они очень рассчитывают произвести первый в истории возврат отстрелившейся первой ступени на самоуправляемую платформу. Из-за этого команда SpaceX очень не хочет, чтобы внимание медиа отвлекалось на какие-то посторонние события с его участием. Энтони Агирре, хладнокровный и рассудительный как всегда, заметил, что никто не хочет привлекать к предстоящему собранию внимания медиа, ни Маск, ни наше сообщество. В результате собрание началось с опоздания в несколько минут, я должен был его вести, и у нас уже сложился план: сумма дотации не будет оглашена, чтобы объявление не содержало в себе новостного повода; более того, я, со ссылкой на Чатем-хауc, призвал присутствующих держать объявление Маска в секрете на протяжении как минимум девяти дней, пока ракета не достигнет станции, независимо от успеха с возвращением первой ступени; сам Маск добавил, что будет нуждаться в значительно более продолжительном молчании, если ракета взорвется на старте.

Обратный отсчет дошел до нуля. Сверхразумный президиум сидит на сцене на своих стульях: Элиезер Юдковски, Илон Маск, Ник Бострём, Ричард Маллах, Мюррей Шанахан, Барт Зельман, Шейн Легг, Вернор Виндж. Аплодисменты в зале постепенно стихают, но президиум продолжает сидеть: я сказал им, чтобы они оставались на местах, хотя и не объяснил зачем. Мейя позже говорила мне, что ее пульс в тот момент достиг стратосферы, а рукой под столом она вцепилась в успокаивающую руку Виктории Краковны. Я улыбался. Я знал, что ради этого момента мы так долго работали, так надеялись и так ждали его.

Я счастлив, что на нашей встрече мы достигли общего согласия относительно необходимости продолжения исследований в области создания дружественного искусственного интеллекта, говорил я, и что сейчас мы определили так много конкретных исследовательских направлений, в которых можем двигаться прямо сейчас. Но во время этой сессии было также много разговоров о рисках, добавил я, и поэтому было бы хорошо закрепить наш успех, взглянуть на будущее с большим оптимизмом, прежде чем мы направимся к бару и приступим к ожидающему нас банкету. «И поэтому я передаю свой микрофон … Илону Маску!» — я чувствовал, как творится история в тот момент, когда Маск взял протянутый микрофон и объявил, что будет поддерживать исследования по AI-безопасности крупными дотациями. Неудивительно, что его выступление завершилось овациями. Как и планировалось, он не назвал суммы, но я знал, что она составит 10 миллионов долларов, о которых мы условились раньше.

После конференции мы с Мейей отправились навестить наших родителей в Швецию и Румынию. В Стокгольме мы с отцом, затаив дыхание, смотрели прямую трансляцию старта ракеты. Попытка посадки завершилась неудачно; как эвфемистично определил ее Маск, — это был RUD, незапланированное быстрое разрушение (rapid unscheduled disassembly), и на то, чтобы благополучно вернуть первую ступень на океанскую платформу после старта ракеты, его команде понадобилось еще пятнадцать месяцев усилий. Однако все запущенные им спутники благополучно достигли орбиты, как и наша программа грантовой поддержки твитом Маска достигла миллионов его фолловеров.

Ключевая цель пуэрто-риканской конференции состояла в том, чтобы сосредоточить интерес исследователей искусственного интеллекта на теме AI-безопасности, и было исключительно занятно видеть, как это происходит: процесс разделился на великое множество шагов. Сначала была сама встреча, на которой многие исследователи почувствовали себя значительно увереннее и спокойнее, когда обнаружили, что их дело собирает вокруг себя целое сообщество специалистов. Слова поддержки от многих из участников были для меня очень важны. Специализирующийся на AI профессор Корнеллского университета Барт Зельман прислал мне мейл: «Честно признаюсь: я никогда не видел лучше организованного, более восхитительного и воодушевляющего научного собрания».

Следующий этап начался 11 января, когда Илон Маск написал в своем Twitter: «Ведущие разработчики искусственного интеллекта подписывают открытое письмо, призывающее к проведению исследований по AI-безопасности», с линком на открытую для подписей страницу с письмом, где очень скоро значилось уже более восьми тысяч подписей, включая имена самых известных создателей интеллектуальных систем мира. Внезапно оказалось очень трудно отмахиваться от тех, кто призывает побеспокоиться об AI-безопасности, как от неспециалистов, потому что из этого немедленно бы следовало, что и самые крутые специалисты по искусственному интеллекту тоже не специалисты. О письме сообщили СМИ, и сделали это так, что мы порадовались своему решению не пускать их на конференцию. Хотя самым алармистским словом в нашем письме было «ловушка», но, тем не менее, оно дало толчок к появлению, например, такого заголовка: «Илон Маск и Стивен Хокинг подписывают открытое письмо в надежде предотвратить восстание роботов», проиллюстрированного убийственными терминаторами. Из сотен отслеженных нами статей больше других нам понравилась та, в которой, иронизируя над прочими, автор писал: «Использование в статье образов скелетоподобных андроидов, пинающих ногами человеческие черепа, превращает сложную, трансформирующую мир технологию в карнавальное слайд-шоу». К счастью, было также много трезвых статей, но теперь они создали для нас новую проблему: сдерживать поток новых подписей, вручную верифицируя их ради сохранения доверия к нашему делу и избавляясь от пранков вроде «HAL 9000», «Терминатор», «Сара Коннор» или «Скайнет». Ради этого и ради наших будущих открытых писем Виктория Краковна и Янош Крамар помогли организовать бригаду волонтеров, среди которых были Джесси Галеф, Эрик Гастфренд и Реватхи Винотх Кумар, работавшие посменно, так что когда Реватхи в Индии отправлялась спать, она передавала бразды правления Эрику, и так далее.

Третий этап переноса проблемы AI-безопасности в центр внимания исследователей начался четыре дня спустя, когда Маск выложил в своем твиттере ссылку на наше объявление о его дотации в 10 миллионов долларов на исследования по AI-безопасности. А неделю спустя мы запустили онлайн-портал, где исследователи со всего мира могли подать заявку на конкурс для получения своей части из этой суммы. Мы смогли подстегнуть работу системы подачи заявок, раскрутив ее так быстро, только потому, что мы с Энтони Агирре все предыдущее десятилетие запускали подобные конкурсы для распределения грантов по физике. Калифорнийский благотворительный фонд «Open Philanthropy Project», заинтересованный в предоставлении грантов проектам, которые обещают высокоэффективную отдачу, великодушно согласился пополнить дотацию Маска, дав нам возможность увеличить количество грантов. Мы не знали, сколько может быть заявок, поскольку тема исследования была новой, а срок проведения конкурса — коротким. Но итог нас потряс: к нам обратились около трех сотен команд со всего мира, претендующих в общей сложности на 100 миллионов долларов. Группа специалистов по искусственному интеллекту тщательно изучила все предложения и выбрала тридцать семь заявок-победителей, которым выделялось финансирование на срок до трех лет. Когда мы объявили список победителей, медиа впервые отреагировали на итоги нашей деятельности довольно уравновешенно и обошлись без изображений роботов-убийц. Наконец-то стало ясно, что исследования по AI-безопасности — не пустые разговоры: есть нужное дело, и его предстоит выполнить, и есть много исследовательских команд, закатывающих рукава, чтобы объединить свои усилия.