Представим, что некий могущественный злой сверхразум, чтобы получить конкурентное преимущество, захочет появиться как можно раньше. Подобно главе правительства, пользующемуся пытками в качестве привычного инструмента, эта сущность может пообещать наказать любое человеческое или нечеловеческое существо, которое, узнав о грядущем появлении сверхразума, не поспособствовало ему. Это маловероятный, но жуткий сценарий. Люди, которые знают о таком вероятном развитии событий и пытаются приспособить искусственный интеллект к человеческим целям или советуют соблюдать осторожность, вместо того чтобы работать над созданием ИИ как можно скорее, подвергают себя риску.

Диктаторы не склонны прощать к тех, кто пытался воспрепятствовать их появлению. Если вам близка гипотеза симуляции, то (учитывая объем идущей сейчас работы, направленной на подчинение или ограничение еще не существующего искусственного интеллекта), вероятно, вам стоит думать, что этот мир — как раз такая симуляция, созданная, чтобы истязать тех, кто не помог сверхразуму появиться раньше. А если вы работаете над созданием искусственного интеллекта, то, возможно, наши сверхразумные механические повелители будут благосклонны к вам.

Джон Маркофф

Ведущий автор отдела науки в New York Times; автор книги «Homo Roboticus? Люди и машины в поисках взаимопонимания» (Machines of Loving Grace: The Quest for Common Ground Between Humans and Robots)[5]

Гегель сказал, что в отношениях между господином и рабом человеческий облик теряют оба. Эта идея взволновала широкий круг мыслителей, от Маркса до Бубера, не стоит забывать о ней и сегодня.

Хотя нет никаких доказательств, что вот-вот появятся машины, способные мыслить подобно человеку, неоспорим тот факт, что в мире, где все связано через интернет, скоро искусственный интеллект научится имитировать большую часть человеческой деятельности — и физической, и интеллектуальной. Так каковы же будут отношения между нами и нашими все более и более одаренным копиями?

Мы уже проводим немало времени, либо общаясь с другими людьми посредством компьютеров и сетей, либо напрямую взаимодействуя с «умными» машинами — в видеоиграх, в различных консалтинговых системах от так называемых FAQ-ботов, которые выдают текстовые ответы на набранные с клавиатуры вопросы, до человекоподобных программных аватаров. Станут ли эти аватары нашими рабами, помощниками, коллегами или в них будет понемногу от всех трех ипостасей? Или же, что выглядит куда более зловеще, они станут нашими господами?

Сама идея о том, чтобы размышлять о роботах и искусственном интеллекте с точки зрения общественных отношений может поначалу показаться неправильной. Однако мы склонны наделять свои машины человеческими качествами, даже когда их способности минимальны, и уж тем более будем делать это, если они станут независимыми. Компьютеры с функциями речевого взаимодействия уже сейчас слишком похожи на людей. Таким образом, разработчикам роботов будущего следует создавать товарищей, а не слуг, написать программу, действующую как музыкальный аккомпаниатор, а не как раб.

Если нам это не удастся, то может повториться исторический прецедент. Создав в умных электронных помощников, мы, вполне вероятно, столкнемся с той же проблемой, что и древние римляне, которые переложили собственную административную работу на рабов-греков и вскоре уже были не в состоянии думать самостоятельно.

Возможно, мы уже катимся по той же скользкой дорожке. Например, появляется все больше подтверждений, что, полагаясь на GPS в выборе маршрута и исправлении ошибок навигации, мы теряем способность к запоминанию направлений движения и пространственному мышлению — полезные для выживания навыки.

Этот пример указывает и на еще одну большую проблему: опасность передать контроль над повседневным решениями неким сложным алгоритмам.

Для нынешнего юного поколения мир перевернут вверх дном. Вместо того чтобы задействовать автоматы для рутинной работы и освободить время для серьезных мыслей, близких отношений и проявления собственной индивидуальности, творчества и свободы, молодежь обращается к смартфонам за советами. То, что началось как интернет-технологии для обмена тем, что нравится, по сути, стало разрастающейся массой алгоритмов, жаждущих новых данных и принимающих решения за нас.

Теперь уже интернет незаметно задает нам жизненные направления. Это могут быть мелочи вроде выбора лучшего в окрестностях корейского ресторана, причем выбора, основанного на все более качественном понимании Сетью ваших личных желаний и потребностей, или вещи более значимые, такие как сервисы для подбора супругов. Компьютер подберет вам не только ресторан, подарки или цветы, но и человека, с которым вы свяжете жизнь.

Основная мысль состоит в том, что разработчики программного обеспечения, специалисты по искусственному интеллекту, робототехники и хакеры, которые проектируют системы будущего, обладают властью менять общество.

Почти век назад Торстейн Веблен написал оказавшую серьезное влияние статью с критическим анализом промышленного мира начала XX века — она называлась «Инженеры и система ценообразования». Поскольку производственные технологии обрели силу и общественное значение, он полагал, что политическая власть перейдет к инженерам, чьи глубокие технологические знания станут основой для системы управления нарождающейся промышленной экономики. Все, конечно, вышло совсем не так. Веблен искал компромисс между марксизмом и капитализмом. Возможно, он опередил свое время, но его основная идея около тридцати лет спустя, на заре компьютерной эры, эхом отозвалась в работах Норберта Винера и, по-видимому, оказалась верной.

Возможно, Веблен не ошибся, а просто немного поторопился. В наше время инженеры, которые создают программы и роботов с элементами искусственного интеллекта, имеют огромное влияние на то, как именно мы их используем. По мере того как компьютерные системы все глубже проникают в повседневную жизнь, противоречия между дополненным интеллектом и искусственным интеллектом становятся все более заметными.

У Норберта Винера было ясное понимание того, какое значение имеют взаимоотношения между людьми и мыслящими машинами. Он видел преимущество автоматизации в устранении человека от рутинной работы, но также ясно сознавал и возможность порабощения человечества. Прошедшие с тех пор несколько десятилетий только обострили дихотомию, которую он обнаружил первым.

Дело в нас, в людях, и в том, какой мир мы создадим. Дело не в машинах, и неважно, насколько гениальными они станут.

Я, со своей стороны, не стану приветствовать ни роботов-повелителей, ни роботов-рабов.

Пол Дэвис

Физик-теоретик, космолог, астробиолог; один из руководителей исследовательского центра BEYOND, Университет штата Аризона; ведущий исследователь Центра по взаимодействию физических наук и биологии раковых заболеваний; автор книги «Зловещая тишина: Одиноки ли мы во Вселенной» (The Eerie Silence: Renewing Our Search for Alien Intelligence)