В таких условиях машины будут мотивированы конкурировать друг с другом за ограниченные ресурсы. Те, кто сможет формировать союзы и сотрудничать, то есть жертвовать собственными целями ради чужих в обмен на выгоды в будущем, добьются большего успеха в такой конкуренции. Так что можно представить будущее, в котором машинам окажется выгодно с точки зрения адаптивности становиться социальными существами и формировать отношения с другими машинами, а следовательно, развивать у себя «я», подобное человеческому.

Однако тут нужно сделать одну важную оговорку. Любая социальность, возникающая среди машин, будет качественно отличаться от человеческой по одной ключевой причине: они могут в буквальном смысле читать мысли друг друга. В отличие от людей, им не требуется вторичная — часто имеющая серьезные недостатки — интерпретативная форма эмпатии, на которую опираемся мы. Машины могут непосредственно изучать разумы друг друга. Это делает общение совершенно иным процессом. Несмотря на высочайшую важность множества наших социальных связей, в конечном счете мы, люди, по существу, одиноки. Любая ощущаемая нами связь с чьим-то разумом метафорична; мы не можем знать наверняка, что происходит у другого в голове, по крайней мере не так, как мы знаем собственные мысли. Этого ограничения для машин не существует. Компьютеры могут получать прямой доступ к «мыслям» друг друга, и нет причин для того, чтобы одна машина, читающая аппаратную и программную часть другой машины, не сумела бы понять — в форме подлинного личного переживания, — каково быть другой. Следовательно, каждая из машин не будет совершенно отдельным «я» в человеческом смысле. Как только ИИ проникнут в разумы друг друга, их «я» обязательно станет коллективным.

Да, машины легко могут отследить источники разных битов получаемых данных и, таким образом, провести различие между своим «я» и прочими машинами. Но когда один индивид понимает другого на таком уровне, на каком это может сделать машина, различие между «я» и «другой» становится совершенно несущественным. Если я скачаю все содержимое вашего компьютера на внешний жесткий диск и подключу его к своему компьютеру, не станут ли эти данные частью «я» моего компьютера? Если я установлю соединение между нашими компьютерами, чтобы они постоянно синхронизировали информацию друг с другом, продолжат ли они быть двумя отдельными машинами? Или с этого момента они становятся едины? Людям никогда не получить такого доступа в разуму другого; несмотря на все наши усилия с кем-то сблизиться, всегда есть непреодолимая граница, разделяющая разумы. Однако для машин расширение собственного «я» — не только возможный, но и наиболее вероятный результат запрограммированной задачи повышать выживаемость в таком мире, где группы индивидов должны конкурировать за доступ к ресурсам и делиться ими.

Имея собственное «я», машины будут настолько коллективными существами, что, вероятно, спровоцируют появление нового уровня социальности, неизвестного людям, — возможно, более близкого к эусоциальности муравьев, так тесно связанных генетически, что самопожертвование ради члена семьи у них стало фактором выживания. Тем не менее само по себе то, что машина вообще способна иметь собственное «я», обнадеживает. «Я» — это то, что позволяет нам испытывать сочувствие, и для машин оно может стать тем, что заставит их заботиться о нас. Самосознание, вполне вероятно, мотивирует машины защищать (или, по крайней мере, не атаковать) биологический вид, для представителей которого, несмотря на куда более низкий уровень интеллекта, тоже важно, кто они есть.

Конечно, вряд ли стоит надеяться, что со стороны сверхразумных машин мы увидим больше сочувствия, чем со стороны многих людей сейчас.

Джун Грубер

Доцент кафедры психологии Университета Колорадо в Боулдере

Рауль Сауседо

Доцент кафедры философии Университета Колорадо в Боулдере

Организмы — по сути машины (в широком понимании этого слова). Следовательно, поскольку мы, люди, являемся мыслящими организмами, мы также и органические мыслящие машины, вероятно наряду со многими животными. Некоторые машины — скорее артефакты, чем организмы, а какие-то из них, возможно, мыслят (опять же в широком понимании). Такие вещи — это артефактные мыслящие машины, например компьютеры и подобные им устройства.

Главный вопрос заключается в том, есть ли вообще явная онтологическая граница между организмами и артефактами. Но вместо того чтобы непосредственно ответить на этот вопрос, мы бы хотели задать другой, хотя и связанный с ним: есть ли серьезные различия между видами мышления, которые демонстрируют организмы, и видами мышления, которые демонстрируют мыслящие артефакты вроде машин, то есть между органическим и артефактным мышлением? Это не вопрос о содержании слов типа «мыслить», «мышление», «мысль». Нет особой глубины, например, в вопросе о том, надо ли использовать эти термины для ввода, обработки и вывода информации, которые могут осуществлять компьютеры. Скорее проблема состоит в том, есть ли существенные отличия между тем, что делает некто вроде нас, и тем, что делает нечто вроде компьютеров.

Результаты недавних эмпирических исследований в области изучения эмоций, а также последних теоретических изысканий в философии говорят о том, что различия в самом деле существенные. Предположим, вы отправились в поход и столкнулись со львом. Что с вами происходит на уровне физиологии? Если вы не отличаетесь от большинства людей, то у вас в голове проносится быстрый поток мыслей: «Я умру», «Вот ведь не повезло», «Надо сохранять спокойствие», «Надо было почитать о том, что делать в таких ситуациях» и т. д. Вы также испытываете массу чувств: удивление, страх и пр. То есть с вами происходят определенные когнитивные и аффективные процессы.

Последние работы по психологии и философии говорят о том, что когнитивное и аффективное выступают в единстве. Дело не только в том, что один человек может в большей или меньшей степени влиять на другого в различных контекстах. В действительности существует единый когнитивный/аффективный процесс, лежащий в основе двух параллельных и взаимодействующих процессов, которые нельзя разделить. Большая часть нашего мышления имеет такой холистический характер; наш способ обработки информации является скорее когнитивным/аффективным, нежели чисто когнитивным. Если мы и получим чисто когнитивный процесс, то он будет производным от базового единого процесса. Это отличие Системы 1 от Системы 2[93], где первая — в основном автоматическая и бессознательная, а вторая — эксплицитная и осознанная. Мы полагаем, что процессы и на уровне Системы 1, и на уровне Системы 2 сами по себе являются холистическими, то есть когнитивными/аффективными.