и наноботы обладают общей и чрезвычайно опасной характеристикой – они способны самовоспроизводиться… Один бот может размножиться и быстро выйти из-под контроля».

Несложно догадаться, что статья Джоя вызвала много шума, но, по сути, ничего не изменилось.

Еще удивительнее для меня было то, что предупреждения о рисках ИИ стали раздаваться почти одновременно с возникновением информатики как научной дисциплины. В лекции 1951 года Алан Тьюринг заявил: «Кажется вероятным, что с началом развития метода машинного мышления не понадобится много времени, чтобы машина превзошла наш слабый разум… Поэтому на каком-то этапе мы вправе ожидать, что машины возьмут все под контроль…»[86] Десять лет спустя коллега Тьюринга по Блетчли-парку И. Дж. Гуд писал: «Первая же ультраинтеллектуальная машина станет последним изобретением, которое человек когда-либо сделает, при условии, что машина будет достаточно послушной и поведает нам, как именно следует ее контролировать»[87]. Признаться, я насчитал с полдюжины мест в «Человеческом применении человеческих существ», где Винер намекает на те или иные особенности «проблемы управления» (скажем, такое: «подобна джинну, не факт, что она будет машина, способная к обучению и принятию решений на базе этого обучения, принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас»). Очевидно, что первыми диссидентами, предупреждавшими о рисках ИИ, были сами пионеры разработки ИИ!

Роковая ошибка эволюции

Известно множество аргументов – обоснованных и не слишком – в доказательство того, что «проблема управления» реальна, что это не какая-то нелепая фантазия. Позвольте привести всего один, отлично иллюстрирующий масштаб проблемы.

В последнюю сотню тысяч лет мир (подразумевается Земля, но этот аргумент приложим и к Солнечной системе, а также, возможно, к Вселенной в целом) существовал, скажем так, в восприятии человеческого мозга. Это означает, что мозг Homo Sapiens признавался наиболее сложным механизмом формирования будущего (вообще-то, некоторые утверждали, что во Вселенной и вовсе не найти объекта сложнее и изощреннее). Изначально мы использовали мозг только для выживания и проведения племенной политики в сообществе охотников за едой, но сегодня возможности мозга намного превосходят эффекты естественной эволюции. Планета прошла путь от производства лесов до производства городов.

Согласно предсказанию Тьюринга, когда появится сверхчеловеческий ИИ («метод машинного мышления»), главенство человеческого мозга закончится. Оглянитесь вокруг – мы являемся свидетелями финальной фазы восприятия мира, длившейся сотню тысяч лет. Сама эта мысль должна заставить задуматься, прежде чем расценивать ИИ как очередной инструмент. Один из ведущих мировых исследователей ИИ недавно признался мне, что для него будет большим облегчением узнать, что искусственный интеллект человеческого уровня невозможен.

Конечно, нам наверняка понадобится много времени для разработки человекоподобного ИИ. Но есть все основания подозревать, что дело не во времени. В конце концов, эволюция – слепой и неуклюжий процесс оптимизации – длилась относительно недолго, когда затронула животных, но привела к появлению человеческого интеллекта. Или возьмем в качестве примера многоклеточную жизнь. Пожалуй, вынудить клетки держаться вместе для эволюции было гораздо труднее, чем создать людей, когда появились многоклеточные организмы. Не говоря уже о том, что наш уровень интеллекта ограничивается такими гротескными факторами, как ширина родового канала. Вообразите, что разработчик ИИ остановил исследования только потому, что не сумел настроить размер шрифта на своем компьютере!

Здесь налицо любопытная симметрия: формируя людей, эволюция создавала систему, которая во многих важных отношениях оказалась более талантливым планировщиком и оптимизатором, чем она сама. Мы – первый вид, осознавший, что наше появление есть следствие эволюции. Кроме того, мы создали множество артефактов (радио, огнестрельное оружие, космические корабли), создать которые эволюция вряд ли способна. Поэтому наше будущее будет определяться нашими собственными решениями, а не биологической эволюцией. В этом смысле эволюция пала жертвой своей персональной «проблемы контроля».

Можно лишь уповать на то, что здесь мы окажемся умнее эволюции. Да, мы точно умнее, но будет ли этого достаточно? Давайте попробуем выяснить.

Текущая ситуация

Итак, вот и мы – через полвека с лишним после первых предупреждений Тьюринга, Винера и Гуда, через десятилетие после того, как люди вроде меня стали обращать внимание на послание об угрозах ИИ. Приятно видеть, что мы добились значительного прогресса, но понятно, что конечная цель далеко не достигнута. Риски ИИ перестали считаться табуированной темой, однако не полностью осознаются исследователями искусственного интеллекта – что уж говорить об обществе как таковом. Если проводить параллели с первым диссидентским посланием, я бы сказал, что мы находимся приблизительно в 1988 году, когда рассуждения о советской оккупации уже не грозили репрессиями, но когда все равно приходилось несколько смягчать свою позицию. Сегодня довольно часто я слышу заявления наподобие следующего: «Меня не беспокоит сверхразумный ИИ, но безусловно имеются некоторые подлинные этические проблемы в повальной автоматизации»; или «Хорошо, что некоторые люди изучают риски создания ИИ, но это дело далекого будущего»; и даже очень как будто разумные утверждения: «Это маловероятные сценарии, хотя их потенциально серьезные последствия оправдывают повышенное внимание».

Что касается распространения посланий, то мы приближаемся к переломному моменту. Недавний опрос исследователей ИИ, участников двух крупных международных конференций по ИИ в 2015 году, показал, что 40 процентов из них считают риски деятельности высокоразвитого ИИ либо «важной проблемой», либо «одной из важнейших проблем в этой области»[88].

Конечно, были коммунисты-догматики, категорически не желавшие менять свою точку зрения, и сегодня почти гарантированно найдутся люди, которые никогда не согласятся с тем, что ИИ может быть опасен. Многие упомянутые коммунисты принадлежали к советской номенклатуре; многие «отрицатели» рисков ИИ руководствуются финансовыми и иными прагматическими соображениями. Чаще всего мотивом выступает корпоративная прибыль. ИИ – чрезвычайно прибыльное направление исследований и разработок; даже в тех случаях, когда это не так, вы демонстрируете приверженность моде и умение держать нос по ветру, что полезно для компании. Поэтому многие пренебрежительные отзывы диктуются корпоративным пиаром и юридическими контрактами. В определенном смысле большие корпорации суть нечеловеческие машины, преследующие собственные интересы, и их интересы могут не совпадать с интересами любого сотрудника такой корпорации. Как замечал Винер в «Человеческом применении человеческих существ»: «Когда человеческие атомы сплачиваются в организацию, в которой они используются не в соответствии со своим назначением, как разумные человеческие существа, а подобно зубцам, рычагам и стержням, не имеет большого значения то обстоятельство, что их «сырьем» послужили плоть и кровь».

Другим сильным стимулом закрывать глаза на риски ИИ оказывается человеческое (слишком человеческое) любопытство, которое не ведает границ. «Когда вы видите что-то технически полезное, то идете вперед и делаете, а с последствиями разбираетесь, только когда добились технического успеха. Так было с атомной бомбой», – сказал когда-то Дж. Роберт Оппенгеймер. Его слова недавно повторил Джеффри Хинтон, которого считают