На той неделе, когда я посетил МИРИ, в штаб-квартире Google в городе Маунтин-Вью проходила важная конференция, организованная группой «Эффективный альтруизм» – набирающим популярность общественным движением, становящимся все более влиятельным среди предпринимателей Силиконовой долины и внутри рационалистического сообщества. «Эффективный альтруизм» характеризует себя как «интеллектуальное движение, использующее разум и факты, чтобы сделать мир как можно лучше». Эффективно-альтруистический поступок, в отличие от эмоционально-альтруистического, – это, например, ситуация, когда студентка колледжа, вместо того чтобы стать врачом и строить карьеру в области лечения слепоты в развивающихся странах, тратит время более рационально, становится менеджером хедж-фонда на Уолл-стрит и жертвует весомую часть своего дохода на благотворительность – так она может оплатить работу нескольких врачей, способных помочь гораздо большему количеству людей вылечиться от слепоты.

На конференции основное внимание уделялось вопросам искусственного интеллекта и экзистенциальному риску. Тиль и Маск, выступавшие на конференции с Ником Бостромом, под влиянием «Эффективного альтруизма» пожертвовали большие суммы денег организациям, сосредоточившимся на безопасности искусственного интеллекта.

«Эффективный альтруизм» перекликался с движением, исследующим экзистенциальные риски искусственного интеллекта (Центр эффективного альтруизма, главный международный пропагандист движения занял помещение в Оксфорде чуть ниже офиса Института будущего человечества).

Мне показалось странным, хотя и не особенно удивительным, что гипотетическая опасность, связанная с еще не существующей технологией, для этих миллиардеров-предпринимателей является более достойной инвестицией, чем, скажем, чистая вода в развивающихся странах или проблема громадного неравенства доходов в их собственной стране. Как я понял, дело было в окупаемости затрат времени, денег и усилий. Об этом я узнал от Виктории Краковны, математика, аспирантки Гарварда – вместе с космологом Массачусетского технологического института Максом Тегмарком и основателем скайпа Яаном Таллинном она была учредителем Института будущей жизни, который в начале 2015 года получил от Илона Маска 10 миллионов долларов на создание глобальной исследовательской инициативы, направленной на предотвращение катастрофы, связанной с искусственным интеллектом.

– Речь идет о том, что вы получите за свой доллар, – сказала она. Американская идиома с украинским акцентом звучала довольно странно. Я, Виктория и ее муж Янос, венгерско-канадский математик и бывший научный сотрудник МИРИ, были единственными посетителями индийского ресторана на Шаттак-авеню в Беркли – своего рода глухой невообразимой пещеры, где, по-видимому, обслуживали пьяных магистрантов. Виктория говорила, чрезвычайно быстро поедая очень острое блюдо с курицей. Она вела себя вполне уверенно, но слегка отстраненно, и, как и Нейт, практически не смотрела в глаза.

Виктория с Яносом приехали в область залива Сан-Франциско на конференцию, посвященную «эффективному альтруизму». Они встретились десять лет назад в математическом лагере средней школы и с тех пор были вместе и жили в своего рода рационалистической коммуне «Цитадель» в Бостоне.

– Проблемы экзистенциального риска вписываются в эту ценностную метрику, – уточнила Виктория. – Если рассмотреть возможность уравновешивания интересов будущих людей и интересов уже живущих людей, то снижение вероятности серьезной катастрофы в будущем может стать верным стратегическим решением. Если вы преуспеете в деле спасения человечества от того, что может его уничтожить, это явно превзойдет любую пользу, которую вы могли бы сделать для людей, живущих в настоящее время.

Институт будущей жизни, в отличие от МИРИ, уделял математической загадке о разработке «дружественного искусственного интеллекта» не такое большое внимание. По ее словам, группа выступала в качестве «информационно-пропагандистского кластера», осведомляя общественность о серьезности этой проблемы. Виктория объяснила, что речь идет не о внимании СМИ или широкой публики, с которыми работает Институт будущей жизни, а скорее о самих исследователях искусственного интеллекта, которые только начинают воспринимать идею экзистенциального риска всерьез.

Одним из тех, кто играл важную роль в освещении проблемы экзистенционального риска, был Стюарт Рассел, профессор информатики Калифорнийского университета в Беркли. В соавторстве с Питером Норвигом, директором по исследованиям Google, он написал книгу об искусственном интеллекте «Искусственный интеллект: современный подход» (Artificial Intelligence: A Modern Approach) – ее широко используют в качестве основного учебника об искусственном интеллекте на университетских курсах информатики.

В 2014 году Рассел и трое других ученых: Стивен Хокинг, Макс Тегмарк и Фрэнк Вильчек, физик и лауреат Нобелевской премии, опубликовали на страницах интернет-издания The Huffington Post строгое предупреждение об опасностях искусственного интеллекта. Среди разработчиков искусственного интеллекта распространена точка зрения, согласно которой признание того факта, что настоящий искусственный интеллект будет создан еще совсем не скоро, мы можем просто продолжать работать над ним, а решать проблемы безопасности будем, если или когда они возникнут. Такую точку зрения Рассел и его соавторы критикуют как принципиально ошибочную. «Если бы высокоразвитая инопланетная цивилизация прислала нам текстовое сообщение: «Мы прибудем к вам через несколько десятилетий», – разве мы бы просто ответили: «Хорошо, позвоните нам, когда доберетесь, мы оставим свет включенным»? Наверное, нет, но примерно это происходит в отношении искусственного интеллекта».

На следующий день после обеда с Викторией я встретил Стюарта в его офисе в Беркли. Усадив меня, первым делом он открыл свой ноутбук и развернул его ко мне (этот учтивый жест странным образом напоминал традиции чаепития), чтобы я мог прочитать несколько параграфов статьи основателя кибернетики Норберта Винера «Некоторые моральные и технические последствия автоматизации» (Some Moral and Technical Consequences of Automation). Статья, первоначально опубликованная в журнале Science в 1960 году, была кратким исследованием способности машин к развитию, когда они начинают учиться «непредписанным стратегиям с темпами, которые сбивают с толку их программистов».

Стюарт, англичанин, излучающий ауру гениальной академической иронии, направил меня к последней странице статьи и внимательно наблюдал за мной, пока я читал на экране следующий отрывок: «Если для достижения своих целей мы используем механическое средство, в работу которого не сможем оперативно вмешаться, так как этот процесс будет настолько быстрым и необратимым, что у нас даже не будет данных, чтобы вмешаться в него до завершения, нам следует быть уверенным, что цель, заданная машине, – это действительно та цель, которой мы хотим достичь, а не ее красочная имитация».

Я повернул ноутбук к Стюарту, и он сказал, что только что прочитанный мною отрывок ясно описывал и проблему искусственного интеллекта, с которой Стюарту пришлось столкнуться, и ее решение. Он сказал, что нам нужно точно и однозначно определить, что мы хотим от этой технологии. Это было так же просто, как и дьявольски сложно. Он настаивал, что вопрос не в том, что во всем виноваты машины, которые ставят собственные цели и преследуют их ценой человечества – скорее, это вопрос нашего собственного неумения достаточно четко формулировать мысли.