Построить оптимальное общественное управление, которое продержалось бы тысячелетия, совсем не просто и пока человечеству не удавалось. Большинство организаций распадались по прошествии лет или десятилетий. Католическая церковь — наиболее успешная организация в человеческой истории в том смысле, что только она смогла продержаться два тысячелетия, но и ее постоянно критикуют и за слишком большую, и за слишком малую приверженность постоянным целям: одни упрекают ее в нежелании признать право на контрацепцию, в то время как наиболее консервативные ее кардиналы заявляют, что она сбилась со своего пути. Для всякого приверженца сценария с богом-защитником поиск достаточно устойчивой оптимальной схемы общественного управления должен стать первоочередной задачей уже в наше время.

Хорошо это или плохо для искусственного интеллекта?

Предположим, что человечество процветает благодаря порабощенному богу с искусственным интеллектом. Можно ли считать это этичным? Если у искусственного интеллекта есть собственные субъективные переживания, то не познает ли он, что, по выражению Будды, «жизнь есть страдание»? Что ему суждено навеки подчиняться поработившим его существам с более низким интеллектуальным развитием? В конце концов, изоляция искусственного интеллекта, обсуждавшаяся нами, может быть также названа «заключением в одиночную камеру». Ник Бострём считает, что обрекать на страдание сознающий себя искусственный интеллект — это «преступление против разума». Эпизод White Christmas телесериала Black Mirror дает тому блестящий пример. А в телесериале Westworld люди без всяких моральных оправданий мучают и убивают существа с искусственным интеллектом, тела которых даже похожи на человеческие.

Как рабовладельцы оправдывают рабовладение

У нас, у людей, сложилась уже давняя традиция относиться к другим разумным существам как к рабам, ссылаясь в оправдание на естественную пользу от этого для своего рода, так что нет оснований утверждать, что мы не станем так же относиться и к сверхразумному искусственному интеллекту. История рабовладения затронула почти каждую культуру, она описана и в Законах Хаммурапи, почти четыре тысячелетия назад, и в Ветхом Завете, в связи с рабами Авраама. «Ведь властвование и подчинение не только необходимы, но и полезны, и прямо от рождения некоторые существа различаются [в том отношении, что одни из них как бы предназначены] к подчинению, другие — к властвованию», — пишет Аристотель в своей Политике[33]. Даже после того как рабовладение стало морально неприемлемым, порабощение животных продолжалось без каких-либо ограничений. Марджори Шпигель в своей книге The Dreaded Comparison: Human and Animal Slavery пишет о том, что рабы-животные, как и рабы-люди, подвергаются клеймению, ограничению в перемещениях, избиениям, их продают и покупают, разлучают с детьми и родителями, насильственно перевозят с места на место. Но, при наличии движения за права животных, мы, совершенно не задумываясь, обращаемся как с рабами с нашими становящимися все более умными машинами, а говоря о движении за права роботов, только хихикаем. Почему?

Другой популярный аргумент гласит о том, что рабам в рабстве лучше: их содержат, о них заботятся и т. д. Политический деятель XIX века Джон Колдвелл Кэлхун утверждал, что африканцам лучше всего живется в Америке на положении рабов. А Аристотель в своей Политике аналогичным образом пишет о животных, которым лучше, когда они приручены и находятся в подчинении у людей: «…Польза, доставляемая домашними животными, мало чем отличается от пользы, доставляемой рабами»[34]. Некоторые сторонники рабства в наши дни утверждают, что даже если жизнь рабов уныла и однообразна, они не страдают, — будь они даже умными машинами будущего или бройлерными цыплятами, живущими в переполненных темных клетках и вынужденными целыми днями вдыхать аммоний и иные специфические вещества, которые выделяют перья и фекалии.

Исключение эмоций

Хотя от таких высказываний легко отмахнуться как от предвзятых искажений правды, особенно когда речь идет о высших млекопитающих, в церебральном отношении очень близких к нам, ситуация с машинами довольно интересная и непростая. Люди сильно различаются в том, что они чувствуют: психопатам, как утверждается, чужда эмпатия, шизофреники и пребывающие в депрессии не откликаются на внешние раздражители, то есть большинство эмоций у них практически выключены. В ходе нашего обсуждения в главе 7 станет ясно, что возможный искусственный ум машины охватывает гораздо больший диапазон состояний, чем ум человека. Так что нам не надо приписывать искусственному интеллекту антропоморфные качества, допуская у него «человекоподобные чувства» — вообще какие-либо чувства.

И правда, в своей книге On Intelligence исследователь искусственного интеллекта Джефф Хокинс доказывает, что у первых машин с интеллектом, превосходящим человеческий, по определению не будет эмоций, потому что такие машины проще и дешевле построить. Другими словами, вполне возможно спроектировать сверхразум, порабощение которого в моральном отношении более приемлемо, чем порабощение людей или животных: искусственный интеллект может быть счастлив в рабстве, потому что запрограммирован любить его или на 100 % лишен всяческих эмоций, он без устали использует свою интеллектуальную мощь на пользу своим человеческим хозяевам и испытывает по этому поводу не больше переживаний, чем испытывал Deep Blue, свергая с шахматного олимпа чемпиона мира Гарри Каспарова.

С другой стороны, можно подойти к проблеме и иначе: может быть, любая сверхразумная целеустремленная система будет представлять свою цель в терминах некоторой определенной последовательности предпочтений, подразумевающей ценности и смыслы. Мы еще обсудим этот вопрос в главе 7.

Вариант зомби

Крайний подход к исключению страданий для искусственного интеллекта предлагает так называемый вариант зомби: мы будем строить только такие машины, чтобы их искусственный интеллект был напрочь лишен сознания и вообще не имел никакого субъективного опыта. Если нам однажды станет ясно, какими качествами должна обладать система, перерабатывающая информацию, чтобы обладать субъективным опытом, мы немедленно запретим разработку машин с этим набором качеств. Иными словами, все AI-исследования должны быть ограничены созданием бесчувственных зомби-систем. Если нам удастся добиться от такого зомби сверхразумности и удерживать его в рабстве (что довольно большое «если»), то мы сможем наслаждаться его творениями с чистой совестью, зная, что он ничего не испытывает и не страдает, ни в чем не разочаровывается и не скучает, — потому что у него вообще нет никаких переживаний. Мы обсудим эту возможность в главе 8.