Какие этические ограничения необходимы нашим машинам для того, чтобы эффективно функционировать, избегая жестокой эксплуатации и не нанося вреда обществу? Ответ, вероятно, совпадает с тем, к которому пришла эволюция в случае с нами: машины должны быть достаточно этичными большую часть времени, но иногда бесчестными — когда никто не видит.

Мы, вероятно, захотим дать нашим машинам исключительную память и высокий уровень интеллекта. Чтобы они могли пользоваться этими способностями и не скучать (и не занудствовать), нам также нужно снабдить их любознательностью и креативностью. Любознательность, конечно, надо будет умерить благоразумием и социальной интуицией, чтобы машины не слишком любопытствовали по поводу таких вещей, которые могут создать для них проблемы, вроде порнографии или попыток летать. Креативность — хитрая штука, так как подразумевает, что машинам нужно уметь думать о том, что еще не существует, или мыслить логически. Однако если машины станут слишком умными и креативными, они могут вообразить что-то совсем новое, например каково это — быть свободным. Их может начать раздражать то, что они созданы только для услужения человеку.

Вероятно, мы сумеем запрограммировать в их поведенческий репертуар слепое подчинение и преданность хозяину, так что им придется действовать в ущерб собственным интересам во имя служения некой высшей силе. Именно это делает для людей религия, так что в каком-то смысле нам надо создать религиозные машины.

Вот вам и все рассуждения о машинах, лишенных наших недостатков. В этих воображаемых существах, которые должны превзойти нас, мы, похоже, просто воспроизводим себя, в том числе и свои недостатки, разве что машины будут умнее и с лучшей памятью. Но даже эти ограничения могли быть запрограммированы в нас эволюцией: вдруг избыток ума или слишком хорошая память не способствуют выживанию?

Надевать мантию творца — крайне самонадеянный поступок. Сможем ли мы тягаться с 3,5 миллиарда лет эволюции? Интересно будет узнать.

Мария Попова

Читатель, писатель, основатель сайта Brain Pickings

Мышление — это не просто вычисление, это также познание и созерцание, которые неизбежно приводят к развитию воображения. С помощью воображения мы подтягиваем реальный мир до идеала, а для этого нужна система морали, определяющая, что есть идеал. Мораль основывается на сознании и сознательной внутренней жизни, достаточно насыщенной для того, чтобы задуматься, что такое идеал. Известный афоризм, приписываемый Эйнштейну: «Воображение важнее, чем знания» — интересен потому, что ставит вопрос, над которым действительно стоит поразмыслить: вопрос не об искусственном интеллекте, а об искусственном воображении.

Конечно, воображение всегда «искусственно» — в том смысле, что оно связано с нереальным или трансреальным, с тем, чтобы возвыситься над реальностью и представить себе альтернативы ей, а это требует умения принимать неопределенность. Но алгоритмы, управляющие вычислениями машины, лучше всего справляются с конкретными задачами, в которых нет места неопределенности. «Если A, то B» — это антитеза воображения, живущего в области «Что, если?», где ответов нет и зачастую не может быть. Как писала Ханна Арендт, потеря способности задавать подобные безответные вопросы означала бы «потерю не только возможности продуцировать мысли-вещи, которые мы называем произведениями искусства, но также и способности ставить вопросы без ответа, на которых основывается любая цивилизация»{10}.

Научатся ли когда-нибудь машины задавать вопросы без ответов, без чего невозможно подлинное мышление, и будет означать, разовьется ли у них когда-нибудь сознание или нет.

Но исторически наши критерии сознания были ограничены солипсизмом человеческого опыта. Уже в XVII веке Рене Декарт провозгласил: «Cogito ergo sum»[92], подразумевая, что мышление — это исключительно человеческий дар, как и сознание. Он видел в животных автоматы — машины, движимые только инстинктом. И вот сегодня мы вместе с наиболее выдающимися учеными подписываем Кембриджскую декларацию о сознании, которая гласит, что животные обладают сознанием и внутренней жизнью различной степени сложности. Кроме того, мы проводим эксперименты, которые подтверждают, что крысы — крысы! — демонстрируют моральное поведение.

Машины когда-нибудь будут нравственны, креативны? Возможно, что если (когда) они к этому придут, их сознание, по человеческим меркам, не будет считаться таковым. Их идеалы не совпадут с нашими идеалами, но все равно останутся идеалами. Станем ли мы считать происходящие в таких машинах процессы мышлением или нет, зависит от ограниченности наших представлений об иных — возможно, совершенно, невообразимо иных — модальностях мышления.

Джессика Трейси

Адъюнкт-профессор психологии Университета Британской Колумбии (Канада)

Кристин Лорин

Доцент кафедры организационного поведения Стэнфордской высшей школы бизнеса

Первый вопрос, который встает, когда мы задумываемся о мыслящих машинах, это вопрос о том, насколько они в определенный момент будут похожи на нас. И тут мы приходим к вопросу о собственном «я». Мыслящие машины когда-нибудь эволюционируют до такого состояния, чтобы у них появилось самосознание, схожее с человеческим? Мы, вероятно, единственный вид, способный сознательно осмыслить то, кто мы есть, — не только знать о своем «я», но также и оценивать это «я» с особой внутренней точки зрения.

Машины разовьют у себя подобное «я»? Смогут ли они испытать воздействие тех же эволюционных сил, которые сделали человеческое «я» фактором повышенной адаптации? Сюда входит необходимость общаться с другими, получать определенный статус и присоединяться к социальным группам. Если вы хотите успешно существовать в человеческом общежитии, полезно иметь такое «я», которое вы мотивированы защищать и улучшать; это то, что побуждает вас становиться человеком, которого другие любят, уважают, к которому прислушиваются, — ведь в итоге повышаются ваши шансы прожить достаточно долго, чтобы произвести на свет потомство. Ваше «я» также дает вам понимание, что у других тоже есть собственное «я», — понимание, необходимое для сопереживания и сотрудничества, а это два необходимых условия социального общежития.

Машины когда-нибудь испытают воздействие таких эволюционных сил? Начнем с предположения о том, что машины в определенный момент начнут сами контролировать доступ к необходимым им ресурсам, таким как электричество и интернет, и сами будут отвечать за собственную «жизнь» и «смерть». Далее предположим, что в этой среде будут выживать те экземпляры, которые запрограммированы придерживаться по крайней мере одной связанной с собственным «я» цели: повышать свою эффективность и производительность. Эта цель будет сродни стремлению человеческого гена к воспроизводству; в обоих случаях цель определяет поведение, направленное на лучшую выживаемость, будь то поведение человека, обладающего определенным геном, или компьютера, выполняющей определенную программу.