– Я извлек огромный опыт из мифа о царе Мидасе, – сказал он.

Мидас определенно хотел иметь избирательную способность превращать вещи в золото, прикасаясь к ним. Но, как известно, то, о чем он просил и что Дионис даровал ему, заключалось в невозможности не превращать вещи в золото каждым прикосновением. Можно было бы сказать, что основной его проблемой была жадность, но непосредственной причиной его скорби (вспомним, он превратил в золото не только все продукты питания и напитки, но в конечном счете и свою собственную дочь) стала недостаточно конкретная формулировка желания.

Фундаментальный риск развития искусственного интеллекта, по мнению Стюарта, заключался в том, что человечеству сложно формулировать собственные желания логически строгим образом.

Представьте, что у вас есть мощный искусственный интеллект, способный решать самые обширные и неразрешимые научные проблемы. Вы попадаете в одну комнату с ним и приказываете ему уничтожить рак раз и навсегда. Компьютер, решая задачу, быстро придет к заключению, что наиболее эффективным способом достижения цели будет уничтожение всех видов, в которых потенциально может произойти неконтролируемое деление аномальных клеток. Прежде чем у вас появится шанс осознать свою ошибку, вы уничтожите всю разумную форму жизни на Земле, за исключением самого искусственного интеллекта, который не будет иметь ни малейших сомнений в том, что успешно справился с задачей.

Исследователь искусственного интеллекта Стив Омохундро, присутствовавший вместе со Стюартом на совете научных консультантов МИРИ, в 2008 году опубликовал статью, в которой излагал опасности целенаправленных систем искусственного интеллекта. В документе «Основные установки искусственного интеллекта» (The Basic AI Drives) утверждается, что обучение искусственного интеллекта даже самым тривиальным задачам в отсутствие крайне строгих и сложных мер предосторожности создаст очень серьезную угрозу безопасности. «Несомненно, не может быть ничего плохого в создании робота, играющего в шахматы, не так ли?» – спрашивает он, прежде чем живо уверить нас в том, что на самом деле именно от такого робота может исходить огромный вред. «Без особых мер предосторожности, – пишет он, – робот будет противиться выключению, будет пытаться проникать в другие машины и делать копии самого себя. Он будет пытаться получить ресурсы без оглядки на безопасность кого-либо еще. Это потенциально пагубное поведение будет происходить не потому, что так было запрограммировано в самом начале, а из-за внутренней природы целеустремленных систем».

Поскольку игру в шахматы искусственный интеллект полностью подчинит максимизации своей полезной функции (а именно победе в игре), он будет избегать любого сценария, в котором может быть отключен, потому как отключение вызовет резкое снижение этой полезной функции. «Когда робот, играющий в шахматы, будет уничтожен, – пишет Омохундро, – он уже никогда не сыграет в шахматы снова. Такая ситуация будет иметь очень низкую полезность, и система скорее всего сделает все, чтобы предотвратить ее. Получается, вы создаете робота, играющего в шахматы, думая о том, что сможете его выключить, если что-то вдруг пойдет не так. Но, к своему удивлению, вы обнаружите, что он будет усиленно сопротивляться вашим попыткам».

Задача разработчиков искусственного интеллекта заключается в проектировании технологии таким образом, чтобы она не возражала против отключения и вела себя так, как мы пожелаем. А проблема заключается в том, что такое четкое определение желаемого поведения совсем не очевидно. Словосочетание «человеческие ценности» широко используется при обсуждении искусственного интеллекта и экзистенциального риска, но ссылка на эти ценности часто объясняется невозможностью любого осмысленного и точного их изложения. Например, вы можете представить, что цените безопасность своей семьи превыше всего. И поэтому вы можете подумать, что разумно встроить в робота, которому поручено заботиться о ваших детях, императив, заключающийся в том, чтобы все его действия подчинялись правилу «не подвергать детей риску причинения вреда». Это, по сути, первый из трех известных законов робототехники Айзека Азимова, в котором говорится: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред».

Но реальность такова, что на самом деле мы не так одержимы безопасностью детей, как нам кажется. Самоходный автомобиль, следующий этой инструкции с абсолютной строгостью, будет отказывать в доставке ваших детей в кино на новый мульт-фильм о приключениях мальчика и его приятеля-робота, учитывая нетривиальный риск попасть в аварию по дороге.

Один из возможных подходов, чаще всего предлагаемый самим Стюартом, заключался в том, чтобы, вместо попыток записать эти неявные ценности и компромиссы в исходный код искусственного интеллекта, запрограммировать искусственный интеллект на самообучение в процессе наблюдения за поведением человека.

– Так же, как мы сами учимся человеческим ценностям, – сказал он. – Это и безусловные инстинкты – например, информация, что нам неприятна боль, – и четко сформулированные правила – например, люди говорят, что не следует воровать. Но большинство делает выводы о ценностях, наблюдая за поведением других людей. Это же нужно делать и машинам.

Когда я спросил его мнение о том, насколько сильно искусственный интеллект сможет превысить человеческий, Стюарт в привычной для своей профессии манере пророчествовал весьма неохотно. Последний раз он допустил ошибку, публично сославшись на некоторый график, в январе того же года на Всемирном экономическом форуме в Давосе. Заседая в так называемом Совете глобальной повестки дня по искусственному интеллекту и робототехнике, Стюарт заявил, что искусственный интеллект превысит человеческий в течение жизни его собственных детей. Результатом такой ошибки стал заголовок Daily Telegraph о том, что «роботы-социопаты могут захватить человеческую расу в течение одного поколения».

Такая фраза, конечно, содержала в себе истерию, на деле отсутствующую в словах Стюарта. Но, разговаривая с людьми, вовлеченными в обеспечение безопасности искусственного интеллекта, я заметил внутреннее противоречие: их жалобы на сенсационную подачу информации из их заявлений были подорваны тем фактом, что сами эти заявления, несмотря на сдержанные формулировки, были настолько сенсационными, насколько это было возможно. Трудно переоценить что-то столь же драматическое, как потенциальное уничтожение всего человеческого рода, что, конечно же, является главной причиной, почему журналисты (к которым принадлежал и я) были настолько вовлечены в процесс.

Однако Стюарт хотел сказать, что появление искусственного интеллекта человеческого уровня в последние годы виделось неизбежным как никогда. Достижения в области машинного обучения, подобные тем, что возглавляла компания DeepMind, стартап, основанный в Лондоне и приобретенный Google в 2014 году, шли верным курсом к переломному моменту. Незадолго до того, как я встретил Стюарта, компания DeepMind выпустила видео, демонстрирующее результат эксперимента, в котором искусственной нейронной сети была поставлена задача максимизировать результат в классической аркадной игре Atari Breakout: в ней игрок, управляя бруском-ракеткой в нижней части экрана, должен прорваться сквозь стену из кирпичей, попадая по ним мячом и разбивая их. Видео продемонстрировало впечатляющую скорость и изобретательность, с которыми сеть научилась играть в Atari Breakout, разрабатывая новую тактику, чтобы набирать все больше очков. Она быстро превзошла все предыдущие рекорды, установленные людьми.