Конечно, нет абсолютно никакой гарантии, что мы преуспеем в создании универсального искусственного интеллекта на уровне человеческого при нашей жизни — или вообще когда-нибудь. Но нет и ни одного «железного» аргумента, что нам это точно не удастся. Нет никаких убедительных оснований думать, что нам не хватает «скорострельности» нашего «харда» или что он окажется слишком дорог. Мы не знаем, как далеки мы от финишной ленточки в отношении архитектуры, алгоритмов и программного обеспечения, но прогресс быстр, и возникающие затруднения успешно преодолеваются растущим мировым сообществом талантливых исследователей искусственного интеллекта. Иными словами, мы не можем исключить возможности, что универсальный искусственный интеллект рано или поздно достигнет человеческого уровня, а может, и превзойдет его. Поэтому давайте посвятим следующую главу изучению этой возможности и посмотрим, к чему такое может привести.

Подведение итогов

• Уже нынешний прогресс искусственного интеллекта обладает колоссальным потенциалом к значительному улучшению нашей жизни бесконечным числом способов: от решения личных проблем каждого конкретного члена общества, увеличения эффективности электросетей и избегания кризисов на финансовых рынках до сокращения смертности — на дорогах в автомобильных авариях благодаря беспилотным автомобилям, на операционных столах благодаря использованию хирургических ботов и просто от болезней благодаря диагностическим системам с искусственным интеллектом.

• Принципиальный вопрос при передаче под контроль искусственному интеллекту реальных систем состоит в том, чтобы научиться следить за его надежностью, гарантировать, что искусственный интеллект делает именно то, чего мы от него хотим. Это сводится к решению сложных технических проблем, связанных с тестированием, валидацией, обеспечением надежности и управляемости.

• Необходимость повышения устойчивости особенно важна для AI-систем оружия, где ставки исключительно высоки.

• Многие ведущие исследователи в области искусственного интеллекта и робототехники призывают к подписанию международных соглашений о запрещении некоторых видов автономного оружия, чтобы избежать начала новой неконтролируемой гонки вооружений, чреватой появлением легкодоступных видов убивающих автоматов, которые смогут приобретать все, у кого есть хотя бы немного денег в бумажнике и ненависти в сердце.

• Искусственный интеллект может сделать наши судебные инстанции более справедливыми и эффективными, если только мы сможем понять, как сделать работу роботов-судей прозрачной и непредвзятой.

• Правовой системе надо быстрее реагировать на изменения ситуации с искусственным интеллектом, которые способствуют возникновению неожиданных казусов, связанных с конфиденциальностью, регулированием и привлечением к ответственности.

• Задолго до того, как у нас появятся основания беспокоиться о вытеснении нас разумными машинами из жизни вообще, они будут все больше вытеснять нас на рынке труда.

• Это не обязательно плохо — до тех пор, пока общество перераспределяет долю создаваемого искусственным интеллектом богатства ради всеобщего блага.

• Тем не менее, по утверждениям многих экономистов, сохраняется опасность значительного увеличения неравенства.

• При опережающем планировании общество с низкой занятостью может процветать не только в материальном плане, но и обеспечить людей чувством осмысленного существования за счет деятельности за пределами профессии.

• Карьерный совет для нынешних детей: идите в те профессии, с которыми машинам сложнее справиться: где надо работать с другими людьми, где выше доля непредсказуемости и творчества.

• Возможностью, что создаваемый универсальный искусственный интеллект может достичь человеческого уровня или даже превзойти его, нельзя пренебрегать. Мы изучим ее в следующей главе.

Поскольку мы не можем полностью отвергнуть возможность, что рано или поздно универсальный искусственный интеллект человеческого уровня будет создан, давайте посвятим эту главу исследованию того, к чему это может привести.

Если вы закатываете глаза, когда слышите разговоры о вооруженном захвате роботами-терминаторами всего мира, то ваша реакция точна: такой сценарий совсем не реалистичен. Эти голливудские роботы не могут оказаться умнее нас, да и вообще оказаться умными. По-моему, опасность, таящаяся в истории о Терминаторе, заключается не в том, что может случиться нечто подобное, а в том, что она отвлекает наше внимание от подлинных рисков и опасностей, связанных с искусственным интеллектом. Переход от нынешнего мира к миру, в котором верх и вправду одержан универсальным искусственным интеллектом, требует трех логических шагов:

В предыдущей главе мы видели, что невозможно отмести шаг 1 как заведомо исключенный. Мы также видели, что если шаг 1 сделан, то становится сложно отмести шаг 2 как безнадежный, так как созданный AGI будет вполне в состоянии непрерывно совершенствовать себя в пределах, определенных исключительно законами природы, которые, по всей видимости, допускают существование разума, превосходящего человеческий. Наконец, поскольку мы, люди, смогли обойти все остальные формы земной жизни, оказавшись умнее, предположение, что сверхразум сможет обойти нас, оказавшись умнее, выглядит также правдоподобным.

Эти рассуждения о правдоподобии выглядят обескураживающе смутными и неопределенными, однако — дьявол в деталях. Может ли искусственный интеллект и в самом деле захватить мир? Чтобы заняться этим вопросом, давайте забудем о дурацких терминаторах и обсудим вместо этого подробные сценарии того, что могло бы произойти. Затем мы поскребем их пальцем и попробуем на зуб, эти придуманные нами сюжетные ходы, так что отнеситесь к ним с должной долей иронии: главным образом эти сценарии показывают, что может, а что не может произойти, и разброс возможностей здесь невероятно велик. Наши первые сценарии лежат на том конце спектра, где события развиваются наиболее быстро и драматично. Разобраться с ними до мельчайших подробностей, на мой взгляд, наиболее важно: не потому, что они наиболее вероятны, а как раз потому, что если мы не можем убедиться, что они исключительно невероятны, то мы должны достаточно хорошо понять их и принять необходимые меры предосторожности, пока не стало слишком поздно и скверные последствия уже неизбежны.