Почему мышление от первого лица так важно? Во-первых, оно подлинное. Невозможно описать непрерывное переживание мышления как что-либо, кроме мышления. Но, когда речь идет о почках, калькуляторах или сетях нейронов в мозге, мы, рассматривая их от третьего лица, можем называть происходящие в них процессы мышлением, а можем не называть. Единственная причина, по которой мы думаем, что нам присущ какой-то особый вид мышления, видимо, заключается в том, что именно его мы воспринимаем от первого лица. Мышление от третьего лица — не подлинное.

Во-вторых, и это гораздо более конструктивно, связанные с мышлением переживания определяют виды мышления, которыми мы займемся потом. Были ли наши последние мысли трудными, скучными, приятными, интересными? От этого зависит, как часто мы станем прибегать к мышлению того или иного вида. Я не утверждаю, что у наших переживаний от первого лица нет также и нейронных коррелятов. Но ни один ученый или философ не сможет вам сказать, почему нейронные процессы, происходящие определенным образом, вызывают определенные переживания или вообще какие-либо переживания. Это одна из величайших тайн Вселенной (существование материи, существование жизни, существование переживания).

Будем ли мы делать все больше машин, способных продуцировать такие паттерны ввода-вывода, которые воспроизводят человеческие? Бесспорно. Будем ли мы строить машины, способные заниматься чем-то бо́льшим и создавать полезные алгоритмы и способы трансформации данных, которыми люди смогут пользоваться самостоятельно и которые улучшат качество жизни? Мы уже их строим и построим еще больше. А появятся ли у нас машины, способные на мышление от первого лица, то есть способные переживать собственное мышление? Сомневаюсь. Решение этой проблемы может стать величайшим достижением человечества, но для начала нужно осознать существование проблемы. Мне бы очень хотелось увидеть машины, мыслящие от первого лица, но, пока мы не начнем разбираться в том, что делает нас такими машинами, все остальное — просто калькулятор.

Майкл Вассар

Футуролог; основатель и старший научный сотрудник BayesCraft

Мыслящие машины скоро появятся. Сейчас, однако, давайте подумаем над интеллектуальными инструментами. Интеллектуальные инструменты не мыслят. Поисковые системы не мыслят. Не мыслят и роботизированные автомобили. Мы, люди, часто тоже не думаем. Мы обычно движемся на автопилоте, как и другие животные. Наши начальники, как правило, не хотят, чтобы мы думали; это может сделать ситуацию непредсказуемой и поставить под угрозу их власть. Если машины заменят нас там, где мы не думаем, то у нас начнутся неприятности.

Предположим, что «думать» относится ко всему, что люди делают с помощью мозга. Специалисты называют думающую машину универсальным искусственным интеллектом. Они согласны с тем, что такая машина может привести к вымиранию нашего вида. Вымирание, однако, не единственный экзистенциальный риск. По мнению эксперта в области машинного сверхразума Ника Бострома, экзистенциальный риск — это нечто, способное «уничтожить возникшую на Земле разумную жизнь или окончательно и бесповоротно сократить ее потенциал»{11}. Примерами экзистенциальных рисков являются, в частности, старая добрая ядерная война, новые проблемы типа неконтролируемого глобального потепления, маргинальные гипотезы наподобие катастрофы на ускорителе частиц и набирающий все большую популярность фаворит — искусственный интеллект. Однако в течение нескольких десятков лет наиболее серьезный экзистенциальный риск исходит от тех видов интеллекта, которые не думают, и от новых видов мягкого авторитаризма, которые могут появиться в мире, где большинство решений принимается бездумно.

Кое-что из того, что люди делают с помощью мозга, очень впечатляет, и в ближайшее время программам таких результатов не достичь. Написать роман, соблазнить человека, создать компанию — с подобными вещами интеллектуальные инструменты не справятся. То же, конечно, относится и к созданию машины, которая действительно думает. С другой стороны, в большинстве случаев мышление можно улучшить за счет «тонкой нарезки» с помощью процедур, которые обычно не сравнимы с алгоритмами. Например, когда нужно поставить больному диагноз и назначить лечение, списки контрольных вопросов повышают точность оценки, хотя люди со списками менее надежны, чем системы искусственного интеллекта. Автоматизация сестринского дела остается задачей далекого будущего, но больница, в которой все решения принимают машины, была бы гораздо более безопасным местом для пациента — это объективная реальность, с которой сложно спорить.

Чем больше решений мы оставляем машинам, тем сложнее становится вернуть контроль в свои руки. В мире, где беспилотные автомобили стали нормой, в результате чего дорожный травматизм сократился почти до нуля, человек, желающий сам вести автомобиль, будет считаться безответственным, возможно даже преступником. Станет ли нежелательным делать вложения в предприятия, которые не укладываются в статистически определяемые рекомендации? Обучать детей такими методами, в отношении которых установлено, что они ведут к снижению средней продолжительности жизни или среднего дохода? Если да, то будут ли ценности, которые плохо поддаются машинной репрезентации, к примеру «достаток», заменяться чем-то, что коррелирует с определенными количественными показателями, такими как уровень серотонина и дофамина? Легко упустить из виду скрытый авторитаризм, скрывающийся за такой интерпретацией ценности, однако любое общество, стремящееся к хорошим результатам, должно определиться с мерой добра — и эта задача будет тяготеть над нами, пока у нас не появятся мыслящие машины и не помогут нам ее как следует обдумать.

Грегори Пол

Независимый исследователь; автор «Принстонского справочника-определителя динозавров» (The Princeton Field Guide to Dinosaurs).

В этом тексте я исхожу из того, что обладающие сознанием разумы функционируют в соответствии с законами физики и способны действовать на субстратах, отличных от нервной ткани, находящейся у нас между ушами, и что, следовательно, могут быть созданы сознательные искусственные аппараты, которые станут еще более сознательными и разумными, чем люди, и что тогда, соответственно, человеческий мозг станет пережитком прошлого, неспособным конкурировать с новыми психическими сверхмощностями.

Данная конкретная мыслящая биомашина, относящаяся к отряду приматов, думает, что развитие искусственных сверхразумов — хорошая идея. Хоть у нашего вида и есть положительные черты, Homo sapiens определенно является весьма ограниченной, неудачно сконструированной (силами биологической эволюции) системой, наносящей тяжелый урон родной маленькой планете, несмотря на то что планета наносит столь же тяжелый урон в ответ: например, болезни убили около половины из примерно 100 миллиардов детей, рожденных до настоящего момента. Попытки навсегда сохранить человеческие существа в том виде, в котором они существуют сейчас, — это природоохранный проект, бросающий вызов эволюционным процессам, в рамках которых виды постоянно появляются и исчезают, сменяя друг друга. Нет никаких априорных доводов в пользу предположения, что мы уникальные, что заслуживаем особой защиты, тем более если наши преемники способны на сознательное и самосознательное мышление.