Что эти люди имеют в виду, говоря об экзистенциальном риске? Какова природа угрозы, вероятность ее свершения? Всем ли известен сюжет «Космической Одиссеи 2001 года», где ра-зумный компьютер из-за неисправности начинает делать все, чтобы никто не смог его отключить. Всем ли известен сценарий «Терминатора», когда Скайнет – сеть машин, обладающих искусственным интеллектом, – обретя сознание, уничтожает и порабощает человечество для достижения собственных целей. Можете ли вы безоговорочно верить в статьи о надвигающейся угрозе интеллектуальных машин и в трагические высказывания таких ученых, как Тиль или Хокинг? Возможно, они не были экспертами в области искусственного интеллекта, но были чрезвычайно умными и знающими людьми. Если эти люди были обеспокоены, как «Ястребиный глаз» из телесериала «МЭШ» и ученый, пытающийся помешать наступлению сингулярности в фильме «Превосходство» 2014 года, не должны ли мы обеспокоиться вместе с ними?

Больше других в пророчествах технологических катастроф отличился Ник Бостром, главный эсхатолог, шведский философ, соучредитель Всемирной трансгуманистической ассоциации (World Transhumanist Association[7]), одна из самых выдающихся фигур трансгуманистического движения. В конце 2014 года Бостром, директор Института будущего человечества, опубликовал книгу «Искусственный интеллект. Этапы. Угрозы. Стратегии» (Superintelligence: Paths, Dangers, Strategies), в которой изложил природу опасности искусственного интеллекта. Для академического текста, не предназначенного для неподготовленного читателя, книга отлично продавалась и даже вошла в список бестселлеров New York Times (частично волну продаж можно объяснить настойчивыми рекомендациями к прочтению в твиттере Илона Маска).

В этой книге предполагается, что даже самая безобидная форма воображаемого искусственного интеллекта может привести к уничтожению человечества. Например, по одному из крайне гипотетических сценариев, изложенных в книге, искусственный интеллект, предназначенный для максимально эффективного и продуктивного изготовления канцелярских скрепок, запускает преобразование всей материи во всей Вселенной в скрепки для бумаг и в оборудование для производства этих скрепок. Этот преднамеренно карикатурный сценарий совершенно серьезно демонстрирует особую безжалостную логику искусственного сверхинтеллекта, с которой нам, возможно, придется столкнуться.

– Сейчас я бы не стал причислять себя к трансгуманистам, – сказал мне Ник во время нашего ужина в индийском ресторане рядом с Институтом будущего человечества.

Хотя он и был женат, его жена и сын были в Канаде, а сам он жил один в Оксфорде. Его род деятельности предполагал частые трансатлантические перелеты и регулярные звонки по скайпу. Такой удручающий способ поддержания баланса между личной жизнью и работой, однако, позволял Нику в полной мере сосредоточиться на исследованиях. В ресторане, куда мы пришли, он обедал так часто, что официант, не дожидаясь заказа, принес ему курицу с карри.

– То есть, – продолжил он, – я, конечно, верю в общий принцип увеличения человеческих возможностей, но больше не связан с самим движением. В трансгуманизме так много оснований в поддержку технологий, настолько неоспорима вера в то, что все будет становиться только лучше и лучше – достаточно только выбрать подход и позволить прогрессу идти нужным курсом. С годами я отошел от этих взглядов.

В последнее время Ник стал своего рода контртрансгуманистом: его нельзя было назвать луддитом, но то, что он сделал себе имя как внутри, так и вне академических кругов, случилось благодаря его обстоятельным предупреждениям о том, куда нас могут завести технологии.

– Я все еще думаю, – сказал он, – что в ближайшие десятилетия удастся изменить человеческий субстрат. И, думаю, искусственный сверхинтеллект станет движущей силой такой трансформации.

Как и многие трансгуманисты, Ник любит подчеркивать огромный разрыв в вычислительной мощности компьютерной техники и человека. Например, нейроны передают сигналы с частотой 200 герц (или 200 раз в секунду), тогда как транзисторы работают на уровне гигагерца (или миллиарда раз в секунду). Сигналы проходят через нашу центральную нервную систему со скоростью около 100 метров в секунду, тогда как компьютерные сигналы могут перемещаться со скоростью света. Человеческий мозг ограничен в размерах черепом, а компьютерный процессор технически можно построить размером с небоскреб.

Он утверждал, что эти факторы делают создание искусственного сверхинтеллекта очень заманчивым. А из-за нашей склонности придавать даже машинному интеллекту человеческие качества мы, вероятно, будем закрывать глаза на темпы, с которыми он будет развиваться, и в скором времени он сможет перегнать наш собственный. Искусственный интеллект может очень длительное время казаться довольно далеким от человеческого, а затем превзойти его в одно мгновение. В своей книге Ник иллюстрирует это цитатой Элиезера Юдковского, теоретика обеспечения безопасности в сфере искусственного интеллекта:

Согласно теории в этой точке все изменится радикально. А будут ли изменения к лучшему или к худшему – это открытый вопрос. По словам Ника, главный риск не в том, что сверхразумные машины могут быть враждебно настроены по отношению к своим человеческим создателям, а в том, что они будут безразличны к ним. В конце концов люди не были враждебно настроены по отношению к большинству видов, которые вымерли в течение тысячелетий нашего восхождения. Они просто не оказались частью нашего замысла. То же может случиться с машинами, обладающими сверхинтеллектом: они будут относиться к нам, как мы к животным, которых разводим для пропитания, или к тем существам, на которых не обращаем внимания, потому что у нас с ними нет точек соприкосновения.

Ник стремился подчеркнуть саму природу угрозы: не будет никакой злобы, никакой ненависти, никакой мести со стороны машин.

– Не думаю, – сказал он, – что я когда-либо увижу газетную статью с заголовком из фильма о Терминаторе, что роботы взбунтуются, возмутившись нашим господством, и восстанут против нас. Это не тот случай.

И это снова приводит нас к смехотворному сценарию про канцелярскую скрепку, смысл которого в том, что любой вред от сверхинтеллектуальной машины будет не результатом злого умысла или любого другого эмоционального побуждения, а исключительно следствием того, что наше отсутствие станет оптимальным условием для достижения конкретной цели этого интеллекта.