Вероятность благоприятного исхода в основном определяется внутренней сложностью проблемы — тем, каковы ее основные движущие силы и насколько трудно ими управлять. Последние исследования указывают на то, что она сложнее, чем можно было предположить. Однако мы пока что стоим в самом начале пути, и есть вероятность, что у проблемы имеется какое-то простое решение или же все сложится хорошо и без особых усилий с нашей стороны.

Тем не менее то, насколько хорошо мы подготовимся, способно повлиять на распределение вероятностей. Самое полезное, что мы можем сделать на данном этапе, — это форсировать развитие крошечной, но растущей области исследований, которая разрабатывает проблему сверхразума и его управляемости, а также такие вопросы, как перенос человеческих ценностей в программное обеспечение. Причина развивать данное направление прямо сейчас отчасти состоит в том, чтобы скорее получить первые результаты по проблеме управляемости, отчасти в том, чтобы привлечь к этой работе величайшие умы современности, — и тогда, когда природа проблемы станет более ясной, они уже будут в курсе дела. Похоже, что математика, теория вычислительных систем и, возможно, философия — сейчас самые важные дисциплины. Вот почему уже предпринимаются значительные усилия, чтобы привлечь в эту область талантливых ученых и финансирование, а также начать разрабатывать план действий.

Дональд Хоффман

Когнитивист, Калифорнийский университет в Ирвайне; автор книги «Визуальный интеллект» (Visual Intelligence)

Разве научится искусственный интеллект думать, чувствовать, предполагать, сопереживать, дружить, общаться, извлекать мораль? На самом деле он способен делать это любым из способов, которые мы могли бы представить себе, и множеством других, совершенно невообразимых способов. Чтобы встряхнуть воображение, можно рассмотреть различные формы естественного интеллекта, которые встречаются в современных биологических системах, и поразмышлять о вариантах, которыми обладали 99 процентов всех видов, когда-либо живших на Земле, но давно исчезнувших, — благодаря информации, донесенной до нас теми немногими счастливчиками, что завещали свои окаменелые останки пантеону истории эволюции. У нас есть право стимулировать наше воображение подобным образом, потому что, согласно нашим лучшим теориям, интеллект — это функциональное свойство сложных систем, а эволюция, помимо прочего, является алгоритмом поиска, который находит такие функции. Таким образом, формы интеллекта, обнаруженные до настоящего времени естественным отбором, уменьшают нижнюю границу оценки разнообразия возможных вариантов. Эволюционная теория игр предполагает, что верхней границы нет: достаточно всего четырех конкурирующих стратегий для хаотической динамики и странных аттракторов.

Когда мы рассматриваем естественные формы интеллекта, полученные эволюционным путем, то обнаруживаем неоднородность, предполагающую разумоцентрическое представление об интеллекте, которое так же правдоподобно, как геоцентрическое представление о космосе. Интеллект, что мы считаем эталонным, — всего лишь одна из многих точек (притом бесконечно малая) во вселенной чужих разумов, во вселенной, которая не крутится вокруг нашего вида, а большей частью игнорирует его.

Например, самка богомола Pseudomantis albofimbriata, когда бывает голодна, использует сексуальные уловки, чтобы добыть пищу. Она испускает феромон, который привлекает самцов, а затем поедает тех, кто явился на свидание. Старший птенец в выводке голубоногой олуши, когда бывает голоден, прибегает к факультативному каинизму. Он убивает младшего птенца, заклевывая его до смерти или выбрасывая из гнезда, где тот погибает от переохлаждения. Мать смотрит на это не вмешиваясь. Вот вам варианты естественного интеллекта, варианты, которые мы готовы назвать одновременно чужими и подозрительно знакомыми. Они нарушают привычные нам каноны сочувствия, сосуществования и морали, но все же и в переменчивой истории человечества есть примеры людоедства и братоубийства.

Наше исследование обнаруживает другую важнейшую особенность естественного интеллекта: у каждого примера свои пределы применимости — те точки, где интеллект передает эстафету глупости. Самка серого гуся нежно заботится о кладке — но только если поблизости нет волейбольного мяча. Она оставит свой выводок в безнадежной погоне за необычайным яйцом. Самец жука-златки Julodimorpha bakewelli летает в поисках самки для спаривания — если только не приметит подходящую пивную бутылку. Тогда он оставит самку ради бутылки и будет пытаться спариться с холодным стеклом, пока смерть не разлучит их.

Человеческий интеллект тоже передает эстафету. Эйнштейну приписывают такую цитату: «Есть только две бесконечные вещи: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен». Некоторые пределы человеческого интеллекта вызывают замешательство. Например, набор функций целых чисел к целым числам неисчислим, тогда как набор вычислимых функций является счетным. Следовательно почти все функции невычислимы. Но попробуйте придумать хоть одну! Оказывается, нужен гений вроде Алана Тьюринга, чтобы найти пример, подобный проблеме остановки[40]. А чтобы понять такой пример, нужен исключительный ум, совсем чуть-чуть не дотягивающий до гениальности.

Другие пределы попадают ближе к цели: диабетики, которые не могут отказаться от десерта, алкоголики, которые не могут отказаться от выпивки, игроки, которые не могут отказаться от игры. Но дело не только в тех, у кого есть пагубные пристрастия. Специалисты по поведенческой экономике считают, что все мы принимаем «предсказуемо иррациональные» экономические решения. Специалисты по когнитивной психологи считают, что все мы страдаем от «функциональной фиксированности» — неспособности решить определенные тривиальные задачи, такие как «Свеча Дункера»[41], — потому что не можем мыслить вне шаблонов. Хорошая новость, однако, состоит в том, что бесконечное разнообразие наших ограничений обеспечивает работой психотерапевтов.

Но вот ключевой момент. Ограничения каждого вида интеллекта — это движущая сила эволюции. Мимикрия, камуфляж, обман, паразитизм — все они являются эффектами эволюционной гонки вооружений между различными формами интеллекта, обладающими своими преимуществами и своими ограничениями.