А что, если эти мыслящие машины так же умны, как и мы, или даже намного умнее? Что, если они умны по-другому и не ограничиваются нашими моделями мышления? Не так уж невероятно, поскольку компьютеры уже хорошо справляются с тем, что у нас не получается: их кратковременная и долговременная память лучше, они быстрее считают и не подвержены иррациональным влияниям, от которых страдает наш разум. Если мы экстраполируем это, то увидим, что мыслящие машины могут быть одновременно и умными, и иными.

Так как нам реагировать? Один вариант — назвать их монстрами, неописуемыми чудовищами, способными исследовать неизвестное, как нам никогда не суметь. Многие люди наверняка отреагируют именно так, если мы создадим машины, которые думают о мире совершенно иным образом.

Но зачем? Я предпочту более оптимистичную реакцию, нахес — это слово на идише означает радость и гордость, часто компенсаторную гордость. Например, вы испытываете нахес, или, на идише, вы «шеп нахес», когда ваши дети оканчивают колледж, женятся или благополучно минуют еще какой-нибудь важный этап жизни. Это не ваши личные достижения, но вы ими все равно очень гордитесь и очень им рады.

То же самое может быть верно и для наших машин. Даже если мы не поймем их мыслей, открытий или технологических достижений, они останутся нашими машинами, и их создатели могут «шеп нахес» от успехов потомков, скажем компьютерных программ, которые генерируют уточненные произведения искусства или музыкальные композиции. Я думаю, что разработчики таких программ будут гордиться полученными картинами или музыкальными произведениями, даже если сами ничего подобного создать не способны.

Такое значение нахес можно расширить. У многих из нас есть любимая команда, победами которой мы гордимся, хотя не имеем к ним никакого отношения. Мы радуемся, когда гражданин нашей страны выигрывает золото на Олимпийских играх, совершает научное открытие или получает престижную награду. То же самое должно относиться и к нашим мыслящим машинам и всему человечеству: мы можем болеть за то, что создали люди, хотя это и не наше личное достижение — и даже если мы его не до конца понимаем. Многие из нас рады технологическим достижениям, от iPhone до интернет, хотя мы и плохо понимаем, как они работают.

Когда наши дети делают что-то удивительное, но в мы в этом не очень разбираемся, то мы не отчаиваемся и не волнуемся; мы рады их успехам и благодарны за них. На самом деле благодарность — это подходящее слово для отношения многих из нас к технологиям. Мы не полностью понимаем наши машины, но они мощные и полезные, и мы за это благодарны. Мы можем так же отнестись к нашим будущим технологическим творениям, к мыслящим машинам, которые нам до конца не понять. Вместо того чтобы бояться или беспокоиться, от них надо испытывать нахес.

Джеральд Смолберг

Врач-невролог в больнице Ленокс-Хилл (Нью-Йорк); драматург, авангардистские постановки «Учредители» и «Золотое кольцо»

Мои мысли по поводу вопроса Edge в этом году сформированы под влиянием наблюдения, описанного Марком Твеном в книге «Янки из Коннектикута при дворе короля Артура»: «Опытному специалисту всегда легче предсказывать за пятьсот лет, чем за пятьсот секунд». Твен был великодушен: забудьте про 500 секунд — нам никогда наверняка не узнать, что произойдет даже через одну. Однако люди могут предугадывать будущее, что обеспечило Homo sapiens огромное эволюционное преимущество. Этот талант стал двигателем прогресса и источником творческих способностей человека.

Мы построили машины, которые, в несколько упрощенной форме, уже мыслят, решая задачи или выполняя функции, сформулированные нами. На данный момент машины подчиняются алгоритмам, которые следуют правилам логики, будь она «четкой» или «нечеткой». Компьютерный интеллект, несмотря на обширную память и постоянно развивающиеся механизмы обработки информации, все еще примитивен. В теории, когда эти машины станут сложнее, у них в какой-то момент сформируется самосознание (определим его здесь как способность сознавать, что ты что-то сознаешь). Вероятнее всего, этого произойдет за счет объединения свойств кремниевых и углеродных, цифровых, аналоговых и, возможно, квантовых вычислительных систем, а также нейросетей с временной задержкой.

Такая форма сознания, однако, будет лишена субъективных чувств и эмоций. Согласно ряду утверждений, чувства инициируются мыслями и образами, которые сочетаются с определенной эмоцией. Страх, радость, гнев и похоть — это примеры эмоций; к чувствам относятся удовлетворение, тревога, счастье, горе, любовь и ненависть.

Мое мнение о том, что машины будут лишены этого аспекта сознания, основывается на двух соображениях. Первое — то, каким образом мы пришли к способности чувствовать и испытывать эмоции. Как человеческие существа, мы являемся результатом эволюции, происходившей под действием естественного отбора — процесса, который начался среди примитивных организмов приблизительно 3,5 миллиарда лет назад. За это огромное время мы были не одиноки среди животного царства в своей способности испытывать чувства и эмоции. Но примерно 150 000 или 300 000 лет назад Homo sapiens оказался единственным видом, сформировавшим язык и символическое мышление — части нашего разума, которые помогают нам понимать свои ощущения и наблюдать за окружающим миром. Чувства, эмоции и разумное восприятие теснейшим образом переплетены с тем, как мы мыслим. Мы не просто сознаем, что у нас есть сознание, наше мышление также дает нам возможность помнить прошлое и представлять будущее. Используя эмоции, чувства и разум, мы формируем модель психического, которая помогает нам понимать мышление других людей, что, в свою очередь, позволяет обмениваться знаниями и тем самым создавать общества, культуры и цивилизации.

Второе соображение состоит в том, что машины — это не организмы, и, какими бы сложными и высокоорганизованными они ни стали, они не пройдут естественного отбора. Независимо от того, как они сконструированы и запрограммированы, если у них появятся чувства и эмоции, это сделает их контрпродуктивными в плане ценности для нас.

Стимулом к созданию разумных машин станет будущая потребность обрабатывать и анализировать непостижимые объемы информации и данных, необходимых для того, чтобы с достоверностью отделять истинное от ложного и значительное от незначительного. Машины начнут делать предсказания, поскольку тоже смогут всматриваться в будущее, ожидая (без этого никак), пока оно раскроет свои карты. Им придется быть совершенно рациональными субъектами, чтобы выполнять свои задачи точно и надежно.

Для теории принятия решений им потребуется система моральных принципов. Возможно, это будет метод счисления, включающий такие утилитаристские принципы, как «Наибольшее счастье наибольшего числа людей»[69], вместе с золотым правилом нравственности, фундаментальной установкой, лежащей в основе многих религий: «Относись к другим так, как хочешь, чтобы относились к тебе». Субъективные ценности, связанные с чувствами и эмоциями, будут считаться пораженческой стратегией решения сложных проблем, с которыми мы продолжим сталкиваться, решая, что нужнее нам и всем видам, с которыми мы делим планету.