Но, если закон Юма в принципе допускает существование обладающих сильной познавательной способностью субъектов с любыми целями, почему загрузка целей будет такой сложной? Разве мы получим не то, что запрограммировали?

Ответ таков: мы получим то, что запрограммировали, но необязательно то, что хотели. Вызывает беспокойство сценарий, при котором у искусственного интеллекта может выработаться эмоциональная неприязнь к людям. Представьте: мы создаем индуктивный алгоритм изучения ценностей и показываем ему картинки со счастливыми улыбающимися людьми, помеченные как события, обладающие высокой ценностью, — и поначалу искусственный интеллект веселит реальных людей, они улыбаются, все выглядит нормально, и методика получает экспериментальное подтверждение; а потом, когда ИИ становится достаточно умным, он изобретает молекулярные нанотехнологии и покрывает всю вселенную ровным слоем улыбающихся лиц молекулярного размера. Закон Юма, к сожалению, предполагает, что чистая познавательная мощь, в сущности, не препятствует такому исходу, хотя это и не тот результат, к которому мы стремились.

Проблема не является неразрешимой, но она выглядит технически сложной, и нам, наверное, придется справиться с ней с первого раза, как только мы построим что-то умнее самих себя. Мысль о том, что при создании искусственного интеллекта надо все сделать правильно с первой попытки и что на кону стоит будущее всей разумной жизни, закономерно вызывает крик ужаса у любого, кто знаком с данной областью.

Неважно, будет ли первая мыслящая машина создана хорошими людьми или плохими, если даже хорошие люди не знают, как создать хороший искусственный интеллект. Очевидный ответ — немедленно начать технические исследования по проблеме загрузки ценностей — имеет, мягко говоря, свои сложности. Нынешние алгоритмы искусственного интеллекта недостаточно умны, чтобы продемонстрировать основную часть проблем, которые мы можем прогнозировать у значительно более продвинутых субъектов, — значит, нет способа проверить предлагаемые решения этих проблем. Но из-за огромной важности вопроса многие люди пытаются приступить к решению как можно раньше. Приоритетные направления исследования, предлагаемые Институтом будущего жизни Макса Тегмарка, — первый шаг в этом направлении.

Однако на данный момент проблема загрузки ценностей не решена. Полных решений нет, даже теоретических. И, если ситуация не изменится в течение нескольких десятилетий, я не поручусь, что разработка продвинутого искусственного интеллекта вообще будет благим делом.

Кейт Джеффри

Преподаватель поведенческой неврологии, Университетский колледж Лондона

Когниверсум[90] достиг поворотного момента в истории своего развития, потому что до сих пор все мышление во Вселенной (насколько нам известно) осуществлялось протоплазмой, а мыслящие субъекты создавались эволюцией. Мы впервые рассматриваем мыслящие существа, сделанные из металла и пластика, — существа, которых создали мы сами.

Надев мантии творцов, мы готовы усовершенствовать то, на что эволюции потребовалось 3,5 миллиарда. Мыслящие машины могут быть лишены наших недостатков: расизма, сексизма, гомофобии, жадности, эгоизма, жестокости, предрассудков, похоти и т. д. Так давайте попробуем представить, чем это может обернуться. Мы не станем рассматривать вопрос о том, способен ли машинный разум приблизиться к человеческому, потому что он, конечно, способен, — мы всего лишь машины из мяса, менее сложные и уникальные, чем сами наивно полагаем.

Нам надо сначала задуматься о том, почему мы вообще хотим создать искусственный интеллект. Чтобы улучшить свою жизнь — вот единственный разумный ответ, так что нашим машинам придется взяться за работу, которую мы предпочитаем не делать. По этой причине они должны быть во многом похожи на нас: уметь существовать в социальном пространстве и взаимодействовать с другими мыслящими существами, — то есть им понадобится социальное познание.

Что такое социальное познание? Это значит знать, кто есть кто, кто считается другом, кто — безразличный незнакомец, а кто — враг. Следовательно, нам нужно запрограммировать свои машины на распознавание наших групп «свои» и «чужие». Это начинает подозрительно напоминать расизм, но, конечно, расизм — одна из ошибок, которые мы хотим устранить.

Социальное познание также подразумевает способность предсказывать поведение других, а значит, формировать определенные ожидания, основанные на наблюдениях. Машина, способная на это, в определенный момент аккумулирует достаточно много шаблонов поведения для разных людей — молодых и старых, мужчин и женщин, черных и белых, носящих костюмы и носящих комбинезоны, но эти грубые стереотипы опасно близки расизму, сексизму и другим «измам», которых мы не желаем. И все же распознавание таких шаблонов дало бы машинам преимущество, потому что стереотипы в определенной степени отражают реальность (и потому существуют). Проблема…

Мы, вероятно, захотим, чтобы появились машины, способные заниматься сексом, потому что секс — одна из важнейших человеческих потребностей, которую другие люди не всегда удовлетворяют в полной мере. Но каким сексом? Любым? Эти машины можно запрограммировать делать вещи, на которые люди обычно не согласны; нас это устраивает? Или нам нужны правила — к примеру, машины не должны выглядеть как дети? Но как только появится техническая возможность, их все равно построят; мы создадим устройства, способные удовлетворить любые извращенные вкусы людей.

Поскольку наши машины будут работать в социальном мире, им придется распознавать эмоции, но им также потребуются и собственные эмоции. Оставив без внимания вопрос о том, смогут ли машины на самом деле чувствовать как мы, поскольку ответа на него нет, отметим, что им понадобятся радость, грусть, гнев, зависть — вся палитра, чтобы соответствующим образом реагировать на определенные ситуации, понимать эмоции других и правильно отзываться на них. Можем ли мы ограничить эти эмоции? Наверное, имеет смысл запрограммировать машины так, чтобы, к примеру, они никогда не гневались на своего владельца.

Но распространять ли это ограничение на других людей, чтобы машина никогда не нанесла вреда ни одному человеку? Если сделать так, то машины будут уязвимы, могут легко стать жертвами эксплуатации, а их эффективность снизится. Пройдет совсем немного времени, прежде чем люди разберутся, как снять эти ограничения, чтобы их машины получили преимущества перед другими.

Как насчет лжи, мошенничества и воровства? Первая мысль: нет, не в наших машинах, потому что мы пытаемся расти над собой, и бессмысленно создавать существ, которые просто станут нашими конкурентами. Но машины других людей будут конкурировать с нами, нравится нам это или нет, и логика диктует, что ложь, мошенничество и воровство, которые развились у людей, чтобы дать возможность одним индивидам получать преимущество над другими, наверное, будут важны и для наших творений тоже. Естественно, мы бы предпочли, чтобы наши собственные машины не лгали нам и не воровали у нас, но мир, полный принадлежащих другим людям машин, которые лгут и крадут у нас, был бы местом довольно неприятным и уж точно нестабильным. Возможно, понадобится ввести некие пределы бесчестности — так сказать, моральный закон.