Четвертый этап органично протекал сам собой на протяжении следующих двух лет. Тучи технических публикаций и десятки семинаров по AI-безопасности во всем мире, обычно в составе общей тематики мейнстримных конференций по искусственному интеллекту. Самые настойчивые тратили годы, чтобы привлечь сообщество к исследованиям по AI-безопасности, и без успеха, а теперь все действительно завертелось. Многие из публикаций финансировались нашей программой, и мы в FLI старались помогать в организации и финансировании многих таких семинаров, но все бóльшая их часть проходила на средства самих исследователей, которые вкладывали свои деньги и не жалели своего времени. В результате все больше ученых узнавало об исследованиях по AI-безопасности от своих коллег, обнаруживая, что кроме пользы они могут приносить радость, благодаря решению интересных математических и вычислительных задач, возникающих в связи с ними.

Сложные уравнения не всех радуют, конечно. Спустя два года после нашей конференции в Пуэрто-Рико мы готовились к конференции в Асиломаре и проводили в связи с этим технический семинар, где наши победители, выигравшие грант FLI, могли продемонстрировать результаты своих исследований, и мы рассматривали слайд за слайдом с наполняющими их математическими формулами на большом экране. Моше Варди, профессор по искусственному интеллекту из Райсовского университета, пошутил: он понял, что мы преуспели в превращении AI-безопасности в исследовательскую область, коль скоро конференции стали скучными.

Этот впечатляющий рост числа работ по AI-безопасности не ограничивался университетской наукой. Amazon, DeepMind, Facebook, Google, IBM и Microsoft — все эти компании запустили программы промышленного партнерства по созданию дружественного искусственного интеллекта. Новые внушительные пожертвования на исследования по AI-безопасности позволили существенно расширить их в наших крупнейших некоммерческих дочерних организациях: Machine Intelligence Research Institute в Беркли, Future of Humanity Institute в Оксфорде и Центр по изучению экзистенциальных рисков в Кембридже (Великобритания). Новые пожертвования в 10 миллионов долларов и больше стимулировали дальнейшие усилия в направлении создания дружественного искусственного интеллекта: Leverhulme Centre for the Future of Intelligence в Кембридже, K & L Gates Endowment for Ethics and Computational Technologies в Питтсбурге и Ethics and Governance of Artificial Intelligence Fund в Майами. Последний, но не менее важный, чем прочие в этом ряду, — проект на миллиард долларов при участии Илона Маска наряду с другими предпринимателями для запуска OpenAI, некоммерческой компании в Сан-Франциско по разработке дружественного искусственного интеллекта. Исследования по AI-безопасности пришли, чтобы остаться.

Синхронно с этим исследовательским всплеском пришла и волна мнений, выраженных как отдельными людьми, так и целыми коллективами. Промышленное «Partnership on AI» опубликовало свои основополагающие принципы. Длинные доклады со списками рекомендаций были опубликованы американским правительством, Стэнфордским университетом и IEEE (крупнейшим в мире объединением технических специалистов), вместе с десятками других докладов и программных документов отовсюду.

Мы стремились всецело способствовать содержательной дискуссии среди участников конференции в Асиломаре и выяснить, что именно может объединить эти разнообразные сообщества, если таковое вообще возможно. Лукас Перри взял на себя героическую задачу читать все те документы, которые нам присылали, и извлекать из них главное. В марафоне усилий, инициированных Энтони Агирре и завершенных серией длинных телеконференций, наша команда FLI попыталась сгруппировать предложения по близости высказанных позиций и, избавив их от бюрократического пустословия, превратить в единый список лаконичных принципов, прибавив к ним также некоторые неопубликованные, но влиятельные мнения, высказанные более или менее неофициально в ходе переговоров или при других обстоятельствах. Но список все еще содержал многочисленные двусмысленности и противоречия и оставлял слишком много возможностей для толкований, так что за месяц до начала конференции мы распространили его среди участников, чтобы они выразили свои мнения и дали предложения по улучшению имеющихся принципов или замене их новыми. В результате к началу работы конференции у нас был основательно пересмотренный список принципов, с которым можно было начинать работать.

В Асиломаре список вновь подвергся улучшениям, причем в два этапа. Во-первых, принципы обсуждали небольшие группы наиболее заинтересованных участников (рис. 9.4), которые предлагали подробные уточнения, отклики, новые принципы или новые версии старых. Во-вторых, мы опросили всех участников, чтобы определить уровень поддержки для каждой версии каждого принципа.

Эта коллективная работа была скрупулезной и изнурительной. Мы с Энтони и Мейей до предела сократили время, отведенное на сон и приемы пищи, чтобы успеть учесть все необходимое для наших последующих этапов. Но эта работа захватывала. После такого подробного, многоступенчатого, иногда вызывающего бурные дискуссии и опирающегося на самый широкий спектр откликов обсуждения мы были поражены тем единодушным согласием, которое было выражено по поводу большинства этих принципов в ходе нашего заключительного опроса — до 97 % поддержки по некоторым позициям. Этот консенсус позволил нам установить высокую планку для включения в окончательный список: мы оставили в нем только те принципы, с которыми согласились по крайней мере 90 % участников конференции. Хотя это означало, что некоторые довольно часто предлагавшиеся принципы были сняты в последнюю минуту, в том числе некоторые из тех, что очень нравились мне самому, но это позволяло большинству участников не испытывать никаких колебаний при одобрении всего подписанного ими списка, который по окончании был распространен по аудитории. И вот результат.

Рис. 9.4

Величайшие умы, разбившись на группы, продумывают принципы разработки искусственного интеллекта в Асиломаре.

Искусственный интеллект уже создал несколько дружественных инструментов, которыми каждый день пользуются люди во всем мире. Его дальнейшее развитие, основанное на следующих принципах, будет расширять возможности людей и оказывать им помощь на протяжении следующих десятилетий и даже столетий.

§ 1 Исследовательская цель: Цель, к достижению которой направлены исследования искусственного интеллекта, состоит не в том, чтобы создать неуправляемый разум, а в том, чтобы разум был дружественным.

§ 2 Финансирование исследований: Инвестиции в искусственный интеллект должны сопровождаться финансированием исследований, обеспечивающих его дружественность и включающих неудобные вопросы из разных областей знания: информатики, экономики, права, этики и социологии, в том числе: