Есть, конечно, некоторые функции упорядочения космических частиц, которые могут быть строго определены, и мы даже знаем физические системы, которые эволюционируют в сторону их максимального значения. Например, мы уже обсудили, как много систем эволюционируют, стремясь к максимуму своей энтропии, которая при отсутствии гравитации с течением времени приводит к тепловой смерти, где все скучно, единообразно и неизменно. Так что энтропия — совсем не то, что мы хотели бы предложить искусственному интеллекту как критерий «хорошести», к максимальному значению которого он бы стремился. Ниже приведены еще несколько примеров величин, к максимальному значению которых он мог бы стремиться и которые можно жестко определить в терминах упорядочения частиц:

Однако, отталкиваясь от физических представлений, в соответствии с которыми наш космос состоит из движущихся элементарных частиц, сложно увидеть, почему какая-то одна интерпретация «хорошести», а не какая-то другая должна играть какую-то специальную роль. Нам еще надо определить некую финальную цель для нашей Вселенной, которая окажется и определимой, и желаемой. Единственные программируемые на данный момент цели, которые точно останутся хорошо определимыми, когда искусственный интеллект станет намного более разумным, это цели, выраженные исключительно в физических категориях, таких как упорядоченность частиц, энергия и энтропия. Однако в данный момент у нас нет причин верить, что любая из таких определимых целей будет желаемой, гарантируя выживание человечества.

Напротив, кажется, что человечество — это историческая случайность, которая не является оптимальным решением ни для какой хорошо определенной физической задачи. Это означает, что сверхразумный искусственный интеллект с жестко определенной целью сможет оптимизировать ее достижение, просто исключив нас. Это означает, что мудрое решение относительно разработок интеллектуальных систем для нас, людей, предполагает необходимость не только противостоять традиционным вычислительным сложностям, но и решать некоторые из самых упрямых вопросов философии. Чтобы запрограммировать беспилотный автомобиль, нам надо решить «проблему вагонетки», априорно указав, кто будет жертвой во время аварии. Чтобы запрограммированный искусственный интеллект был дружественным, нам надо вложить в него представление о смысле жизни. А что такое «смысл»? И что такое «жизнь»? Каковы конечные этические императивы? Другими словами, как мы можем пытаться формировать будущее нашей Вселенной? Если мы вручим свою судьбу сверхразумному искусственному интеллекту до того, как ответим на эти вопросы, ответ, к которому он придет, вряд ли будет включать наше существование. Поэтому сейчас самое время еще раз вернуться к классическим спорам о философии и этике и отнестись к ним как к весьма срочному делу!

• Первопричины целенаправленного поведения — в законах физики, подразумевающих достижение оптимума.

• В термодинамике содержится встроенная цель диссипации энергии за счет увеличения беспорядка, измеряемого энтропией.

• Жизнь — это феномен, который способствует диссипации (увеличивая перемешивание всего со всем), ускоряя ее благодаря своей сложности, нарастание которой, как и репликация носителей жизни, способствует хаотичности среды.

• Дарвиновская эволюция переориентирует целенаправленное поведение с диссипации на репликацию.

• Интеллект — это способность к достижению сложных целей.

• Так как у людей не всегда есть ресурсы, позволяющие разобраться, какова оптимальная стратегия репликации, у нас развились полезные эмпирические правила, которые помогают нам принимать решения и которые мы воспринимаем как сигналы к действию — чувство голода, жажды или боли, как вожделение или сострадание.

• Таким образом, у нас больше нет такой простой цели, как репликация; когда наши чувства вступают в противоречие с целью наших генов, мы подчиняемся чувствам и поэтому, например, используем контрацептивы.

• Мы строим все более умные машины, которые помогают нам достигать наших целей. К тому времени, когда мы построим машину, демонстрирующую целенаправленное поведение, мы постараемся привести цели машины в соответствие с нашими.

• Приведение целей машины в соответствие с нашими включает три нерешенные проблемы: сделать так, чтобы машина узнала о них, приняла их и продолжала их придерживаться.

• Искусственный интеллект в момент создания может иметь практически любую цель, но практически любая достаточно амбициозная цель приведет к появлению вспомогательных целей: самосохранению, захвату ресурсов и удовлетворению любопытства, чтобы лучше понимать мир. Первые две могут потенциально привести к тому, что сверхразумный AI причинит проблемы людям, а последняя может не дать ему сохранить цели, которые мы в него заложили.

• Несмотря на то, что многие общие этические принципы приняты большинством людей, непонятно, как применить их к другим видам, таким как животные или будущие AI.

• Непонятно, как вдохновить сверхразумный AI конечной целью, которая не была бы неопределенной и не приводила бы к истреблению человечества, и это снова возвращает нас к исследованиям некоторых сложнейших вопросов философии!

Мы видели, что искусственный интеллект может помочь нам создать прекрасное будущее, если мы сумеем найти ответы на некоторые из самых старых и самых сложных философских вопросов — иногда философия тоже бывает необходима. Сейчас, по словам Ника Бострёма, мы пришли к философскому рубежу. В этой главе рассмотрим один из тех философских вопросов, в котором скрывается множество терний, — вопрос о сознании.

Говорить о сознании не просто. Если вы упоминаете «слово на С» в разговоре со специалистом по искусственному интеллекту, неврологом или психологом, они возведут глаза к небу. Если собеседник — ваш наставник, он может сжалиться над вами и попытается отговорить вас тратить напрасно свое время на безнадежную и ненаучную проблему. Действительно, мой друг Кристоф Кох, известный нейробиолог, который стоит во главе Алленовского института мозга, рассказывал мне, как его однажды отговаривали заниматься проблемами сознания, пока у него нет постоянной профессорской позиции — и это был, ни больше ни меньше, нобелевский лауреат Фрэнсис Крик. Если вы посмотрите, что написано в статье о сознании в психологическом словаре Макмиллана 1989 года издания, то узнаете, что «ничего стоящего прочтения по этой теме не было написано». Я объясню в этой главе, что я более оптимистичен.