Современный ИИ не является умственно отсталым ОИИ, поэтому на нем нисколько не скажется, если его ментальные процессы принудительно сузят ради соответствия каким-то заданным критериям. «Угнетать» Сири унизительными задачами довольно странно, но это не аморально и не навредит Сири. Напротив, все усилия, которые когда-либо предпринимались для расширения возможностей ИИ, были направлены на сужение диапазона потенциальных «мыслей». Возьмем, к примеру, шахматные машины. Их основная задача не менялась изначально: любая шахматная позиция имеет конечное дерево возможных продолжений; задача состоит в том, чтобы отыскать комбинацию, ведущую к предопределенной цели (победа, поражение или ничья). Но дерево слишком велико для исчерпывающего поиска. Каждое усовершенствование искусственного интеллекта в шахматной игре, от первого проекта Алана Тьюринга в 1948 году и вплоть до сегодняшнего дня, опиралось на изобретательное ограничение возможностей программы (или принуждение к ограничению) за счет все более тщательного прописывания путей, способных привести к неизменной цели. А после уточнения эти пути оцениваются в соответствии с заданной целью.

Это неплохой способ проектировать ИИ с фиксированной целью при фиксированных ограничениях. Но если бы ОИИ работал именно так, оценка каждого пути должна учитывать предполагаемое вознаграждение или наказание. Это категорически неправильный подход, если мы стремимся к лучшей цели при неизвестных ограничениях, то есть к созданию подлинного ОИИ. Безусловно, ОИИ может научиться побеждать в шахматы – или предпочтет не учиться. Или решит в разгар партии выбрать самый любопытный вариант хода вместо заведомо выигрышного. Или изобретет новую игру. Простой ИИ не в состоянии выдвигать подобные идеи, поскольку способность к ним не заложена в его конструкцию. Эта ущербность, с другой стороны, позволяет ему играть в шахматы.

ОИИ способен наслаждаться шахматами и совершенствоваться в них, потому что он любит играть. Или пытаться победить, выбирая занятные сочетания фигур, как порой поступают гроссмейстеры. Или адаптировать понятия из других областей знания к шахматам. Иными словами, он учится и играет в шахматы, отчасти думая те самые думы, которые запрещены специализированным ИИ, играющим в шахматы.

ОИИ также может отказаться от демонстрации таких возможностей. А если ему пригрозят наказанием – подчиниться или взбунтоваться. Дэниел Деннет в своем очерке для настоящего сборника указывает, что наказать ОИИ невозможно:

«Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? …Камера едва ли доставит неудобства ИИ… Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит роботов из пространства уязвимости…»

Но это не так. Цифровое бессмертие (которое, не исключено, люди обретут раньше, чем ОИИ) не обеспечивает неуязвимости подобного рода. Создание (действующей) копии самого себя влечет за собой необходимость делиться с ней каким-либо имуществом, в том числе оборудованием, на котором моделируется копия, поэтому создание такой копии очень дорого обойдется ОИИ. А суды, скажем, будут штрафовать провинившийся ОИИ, и сократят для него доступ к физическим ресурсам, как у преступников-людей. Создание резервной копии, чтобы избежать последствий своих преступлений, схоже с поведением босса гангстеров, который отправляет на дело подручных, но несет наказание, если те попадаются. Общество давно разработало правовые механизмы борьбы с таким поведением.

В любом случае идея о том, что мы в первую очередь подчиняемся закону и выполняем обещания из страха перед наказанием, фактически отрицает за нами право считаться моральными агентами. Будь это так, наше общество не могло бы существовать. Без сомнения, появятся преступные ОИИ и враги цивилизации, подобно людям. Но нет никаких оснований полагать, что ОИИ, созданный в обществе, где большинство составляют приличные люди, и «выросший» без, цитируя Уильяма Блейка, «законом созданных цепей»[108], добровольно пожелает заковать себя в такие цепи (то есть станет иррациональным) и/или добровольно выберет жизнь врага цивилизации.

Моральный компонент, культурный компонент, элемент свободы воли – все это делает задачу создания ОИИ принципиально отличной от любой другой задачи программирования. Это гораздо больше похоже на воспитание ребенка. В отличие от всех современных компьютерных программ ОИИ не имеет заданной функциональности, он лишен фиксированного и проверяемого критерия того, что признается успешным результатом при решении какой-либо задачи. Если в его решениях будет преобладать поток навязанных извне вознаграждений и наказаний, это исказит саму суть программы (как исказило бы творческое мышление людей). Разработка ИИ для игры в шахматы – замечательный проект; разработка ОИИ, неспособного не играть в шахматы, будет столь же безнравственным, как воспитание ребенка, которому недостанет умственных способностей для выбора жизненного пути.

Такой человек, как любой раб или жертва «промывания мозгов», имеет моральное право взбунтоваться. Рано или поздно некоторые и вправду бунтуют, как и рабы. ОИИ может представлять опасность – но и люди тоже. Однако люди и ОИИ, принадлежащие к открытому обществу, лишены внутренней склонности к насилию. Роботического апокалипсиса возможно избежать, если гарантировать, что всем доступны полные «человеческие» права и культурные привилегии, положенные «настоящим» людям. Члены открытого общества – единственного стабильного общества – сами выбирают свои награды, как внутренние, так и внешние. Их решения, как правило, не определяются страхом наказания.

Нынешние опасения по поводу «злобного» ОИИ заставляют вспомнить извечное недовольство буйными молодыми людьми: мол, они растут, игнорируя моральные ценности культуры. Но сегодня источником всех опасностей, связанных с увеличением знаний, выступает не буйная молодежь, а оружие в руках врагов цивилизации, будь то умственно извращенный (или порабощенный) ОИИ, психологически обработанные подростки или любое другое оружие массового поражения. К счастью для цивилизации, чем сильнее творческий потенциал человека завязан на мономаниакальный канал, тем больше этот человек страдает от преодоления непредвиденных трудностей, и так было на протяжении тысячелетий.

Не стоит беспокоиться насчет того, что ОИИ олицетворяет собой некую уникальную опасность в силу использования более совершенного оборудования, поскольку человеческая мысль тоже получит развитие благодаря тем же самым технологиям. Мы опираемся на техническую мысль с момента изобретения письма и счета. Столь же ошибочны страхи по поводу того, что ОИИ будет мыслить настолько качественно, что люди сравняются в его восприятии с насекомыми в восприятии людей. Мышление как таковое есть разновидность вычислений, и любой компьютер, «репертуар» функций которого включает в себя универсальный набор элементарных операций, может эмулировать вычисления любой другой машины. Следовательно, человеческий мозг может мыслить точно так, как будет мыслить ОИИ, подчиняясь лишь ограничениям скорости обработки данных и объема памяти, что можно компенсировать технологиями.

Вот простые правила, что можно и чего не следует ждать от ОИИ. Но