К счастью, эти сценарии сами себя опровергают. Они зависят от допущения, что (1) люди настолько одарены от природы, что могут создать всеведущий и всемогущий искусственный интеллект, но настолько глупы, что уступят ему власть во Вселенной, даже не проверив, как он работает; и что (2) ИИ окажется настолько умен, что сможет постичь, как преобразовывать химические элементы и «перемонтировать» мозг, но настолько глуп, что учинит хаос вследствие элементарных грубых ошибок и непонимания. Возможность выбора действия, которое наилучшим образом соответствует конфликтующим целям, не является неким дополнением к интеллекту, которое инженеры могут забыть установить и протестировать; это сам интеллект. Как и способность интерпретировать интенции носителя языка по контексту высказываний.

Отбрасывая фантазии вроде цифровой мании величия, мгновенного всеведения и совершенного знания и контроля за каждой частицей во Вселенной, мы обнаруживаем, что искусственный интеллект схож с любой другой технологией. Он разрабатывается поэтапно, предназначается для удовлетворения многочисленных условий, тестируется перед внедрением и постоянно дорабатывается в целях эффективности и безопасности.

Последний критерий особенно важен. Культура безопасности в развитых обществах являет собой образец гуманизирующих норм и каналов обратной связи, которые Винер называл могучей каузальной силой и которые он считал оплотом борьбы с авторитарным или эксплуататорским применением технологий. На рубеже XIX и XX столетия западные общества сталкивались с шокирующим числом увечий и смертей в результате несчастных случаев на производстве, в быту и на транспорте, но в следующее столетие ценность человеческой жизни значительно выросла. Как следствие, правительства и инженеры на основании обратной связи для статистики несчастных случаев внедрили бесчисленные правила, техники и конструктивные изменения, призванные сделать технологии более безопасными. Тот факт, что некоторые нормативные акты (например, использование мобильного телефона рядом с газовым насосом) затрагивают нелепую склонность к риску, означает, что нынешнее общество одержимо безопасностью, и это принесло фантастические преимущества: показатели промышленного, бытового и транспортного травматизма снизились более чем на 95 процентов (а кое-где и на 99 %), если взять за максимум первую половину XX века[97]. Впрочем, технические пророки продолжают сулить пришествие злонамеренного или «забывчивого» искусственного интеллекта, как если бы этого важного изменения не случилось, как если бы инженеры и вправду передали полный контроль над физическим миром непроверенным машинам, не обращая внимания на последствия такого шага для человека.

Норберт Винер объяснял идеи, нормы и институты с точки зрения вычислительных и кибернетических процессов, понятные для науки и каузально мощные. Он характеризовал человеческие красоту и ценность как факторы, которые встречаются «только локально и временно, в противостоянии с Ниагарским водопадом возрастающей энтропии», и выражал надежду, что открытое общество, руководствуясь обратной связью от человеческого благополучия, сможет наращивать эту ценность. К счастью, его вера в каузальную силу идей способствовала тому, что он меньше беспокоился об угрозе со стороны новых технологий. По его словам, «опасность автоматизации для общества исходит не от самой машины, а от ее применения человеком». Лишь памятуя о каузальной силе идей, мы в состоянии точно оценить угрозы и возможности, которые сулит современный искусственный интеллект.

Глава 11

Награды и наказания – что дальше?

Дэвид Дойч

квантовый физик, сотрудник Центра квантовых вычислений при лаборатории Кларендона в Оксфордском университете, автор книг «Ткани реальности» и «Начало бесконечности».

Наиболее значимые события в сегодняшней науке (то есть те, которые оказывают влияние на жизнь всех людей на планете) связаны с достижениями в области программного обеспечения и вычислений, основаны на них или реализуются с их использованием. Ключевой фигурой для будущего этих разработок является физик Дэвид Дойч, пионер в области квантовых вычислений, чья статья 1985 года об универсальных квантовых компьютерах оказалась революционной и впервые познакомила публику с этой дисциплиной; алгоритм Дойча – Йожи [98]стал первым квантовым алгоритмом и продемонстрировал колоссальную потенциальную мощь квантовых вычислений.

Когда Дэвид начал рассуждать на эту тему, квантовые вычисления казались практически невозможными. Но прорыв в разработке простых квантовых компьютеров и квантовых систем связи никогда не случился бы без его работ. Он также внес важный вклад в развитие таких областей, как квантовая криптография и многомировая интерпретация квантовой механики. В философской статье, написанной совместно с Артуром Экертом[99], он обосновывает полезность отдельной квантовой теории вычислений и доказывает, что наши знания математики опираются на знание физики и определяются последним (хотя математические истины не зависят от физики).

Поскольку значительную часть своей карьеры Дэвид занимался тем, что менял мировоззрение людей, репутацию интеллектуала среди коллег он заслужил и укрепил не только своими научными достижениями. Он утверждает (вслед за Карлом Поппером), что научные теории суть «смелые предположения», не основанные на доказательствах, а проверяемые ими. Два основных направления его исследований в настоящее время – это теория поля кубитов[100] и конструкторская теория – вполне приложимы к идее вычислений и могут послужить ее важными дополнениями.

В очерке ниже Дэвид в целом присоединяется к тем, кто видит в искусственном интеллекте человеческого уровня провозвестие лучшего мира, а не Апокалипсиса. На самом деле он фактически требует создания ОИИ со свободой действий, и такое стремление ряд других авторов настоящего сборника сочли бы опасным заблуждением.

Первый убийца

Нет, мы люди.

Макбет

О да, людьми вас числят в общем списке,

Как гончих, мопсов, пуделей, овчарок,

Борзых и шавок – всех равно зовут

Собаками… [101]

Уильям Шекспир. «Макбет»

На протяжении большей части истории человеческого вида наши предки едва ли могли считаться людьми. Дело не в какой-то ущербности их мозга. Напротив, даже до появления анатомически современного человеческого подвида они изготавливали вещи, например одежду, и разводили костры, используя знания, отнюдь не заложенные в их генах. К этому они пришли через мышление и передавали опыт из поколения в поколение, младшие подражали старшим. Более того, это должно было быть знание в смысле понимания, поскольку невозможно подражать новому комплексному поведению вроде обозначенного выше, не понимая, что означают его составные элементы[102].

Такая «осведомленная» имитация зависит от успешного угадывания объяснений, словесных и прочих, связанных с пожеланиями и устремлениями другого, а также того, как соотносится с сутью объяснения каждое его действие – например, когда он прорезает паз в дереве, собирает хворост на растопку и т. д.

Сложное культурное знание, подразумеваемое такой формой подражания, должно было считаться чрезвычайно полезным. Это способствовало быстрой анатомической эволюции, включавшей увеличение объема памяти и появление более гибкого (менее жесткого) скелета, соответствующих более зависимому от технологий