основоположником глубинного обучения; он говорил о рисках ИИ: «Я мог бы привести обычные доводы, но правда в том, что перспектива открытий манит неудержимо».

Безусловно, предпринимательским устремлениям и научной любознательности следует воздать должное за многое из того, что кажется нам сегодня само собой разумеющимся. Но важно понимать, что прогресс вовсе не обязательно сулит исключительно благо. Цитируя Винера: «Можно верить в прогресс как факт, не веря в него как в этический принцип».

В конечном счете мы не можем позволить себе роскошь ждать, пока все руководители корпораций и исследователи ИИ согласятся признать риски ИИ. Вообразите, что вы сидите в самолете, который готовится к взлету. Внезапно объявляют, что, по мнению 40 процентов экспертов, на борту заложена бомба. В этот момент ход действий очевиден, и дожидаться мнения оставшихся 60 процентов экспертов никто не будет.

Калибровка послания о рисках ИИ

Будучи, как ни странно, предсказуемыми, предупреждения первых ИИ-диссидентов о рисках искусственного интеллекта обладали существенным недостатком – как и версия, ныне доминирующая в публичном дискурсе: налицо серьезная недооценка масштабов проблемы и потенциала ИИ. Иными словами, послание неадекватно извещает о том, каковы ставки в игре.

Винер предостерегал в первую очередь насчет социальных рисков: вследствие чрезмерно поспешной интеграции машинных решений с процессами управления и неправильного использования (людьми) таких автоматических решений. Аналогичным образом, нынешние «серьезные» дебаты о рисках ИИ ведутся главным образом вокруг таких вопросов, как технологическая безработица или побочные эффекты машинного обучения. Хотя подобные дискуссии могут приносить пользу и затрагивают насущные краткосрочные проблемы, они потрясающе узки по охвату. Вспоминается шутка из блога Юдковски: «Рассуждать о влиянии суперинтеллекта на обычный человеческий рынок труда – все равно что спрашивать, как пострадают американо-китайские торговые отношения от падения Луны на Землю. Последствия, разумеется, будут, но суть-то не в них».

На мой взгляд, главное в рисках ИИ то, что сверхразумный ИИ несет угрозу всей окружающей среде. Позвольте объяснить.

В своей притче о мыслящей луже[89] Дуглас Адамс описывает лужу, которая просыпается поутру в яме и сознает, что ей хорошо и удобно. На основании этого наблюдения лужа приходит к выводу, что весь мир создан именно для нее. Поэтому, говорит Адамс, «миг исчезновения, скорее всего, застает лужу врасплох». Предполагать, будто риски ИИ ограничиваются неблагоприятными социальными изменениями, значит допускать аналогичную ошибку. Суровая реальность заключается в том, что Вселенная не создавалась конкретно под нас; эволюция установила человечеству крайне узкий диапазон параметров окружающей среды. Например, нам нужно, чтобы атмосфера на уровне поверхности имела приблизительно комнатную температуру при давлении около 100 кПа и достаточной концентрации кислорода. Любое нарушение, даже временное, этого неустойчивого равновесия, грозит нам гибелью в считаные минуты.

Интеллект на основе кремния не разделяет наших опасений по поводу окружающей среды. Вот почему гораздо дешевле исследовать космос, используя автоматические зонды, а не «банки с консервированным мясом» (пилотируемые космические корабли). Более того, нынешняя окружающая среда Земли почти наверняка не оптимальна с точки зрения сверхразумного ИИ, озабоченного эффективностью вычислений. Следовательно, отнюдь не исключено, что мы вдруг обнаружим, что наша планета перешла от антропогенного глобального потепления к механогенному глобальному охлаждению. Одна из важных проблем в исследованиях безопасности ИИ – это поиск способов «обуздать» потенциально сверхинтеллектуальный искусственный интеллект, наделенный обилием возможностей по сравнению с нами, и помешать ему сделать окружающую среду непригодной для обитания биологических форм жизни.

К слову, с учетом того, что наиболее активные исследования в области ИИ и наиболее выраженное стремление отмахнуться от рисков ИИ наблюдаются под корпоративными «зонтиками», послание, гласящее, что ИИ несет угрозу для окружающей среды, может показаться еще одним вариантом хронической обеспокоенности общества по поводу пренебрежения корпораций своими экологическими обязанностями.

Вдобавок фокус на социальных последствиях появления ИИ заставляет упускать из вида бо́льшую часть положительных эффектов от внедрения искусственного интеллекта. Будущее нашей планеты видится невообразимо ничтожным, уж простите, если сопоставлять его с реализацией творческого потенциала человечества. В астрономических временны́х рамках наша планета скоро исчезнет (если мы не укротим Солнце, что вполне возможно), а почти все ресурсы – атомы и свободная энергия – для поддержания цивилизации в долгосрочной перспективе находятся в глубоком космосе.

Эрик Дрекслер, изобретатель нанотехнологий[90], стал недавно популяризировать концепцию «паретотопии»: мол, искусственный интеллект, если все будет сделано правильно, обеспечит будущее, в котором жизнь каждого человека значительно улучшится, то есть будущее, где отсутствуют проигравшие. Ключевая особенность такого ви́дения состоит в том, что главным препятствием для реализации человечеством своего потенциала может оказаться инстинктивная уверенность, будто мы играем в игру с нулевой суммой – когда участники получают небольшие выигрыши за счет других. Подобная уверенность порочна и гибельна для «игры», где все поставлено на карту, а выигрыш в буквальном смысле астрономический. В одной нашей Галактике звездных систем гораздо больше, чем людей на Земле.

Надежда

На момент написания этих строк я испытываю сдержанный оптимизм и верю, что послание об угрозе ИИ может спасти человечество от вымирания, как послание о советской оккупации привело к освобождению сотен миллионов людей. По состоянию на 2015 год это послание переубедило 40 процентов исследователей ИИ. Меня не удивит, если новый опрос покажет, что ныне большинство исследователей ИИ считают риски искусственного интеллекта важнейшей проблемой.

Приятно видеть первые технические документы по безопасности ИИ, плод деятельности DeepMind, OpenAI и Google Brain[91], а также наблюдать сотрудничество исследовательских групп, представляющих организации, увлеченно конкурирующие между собой.

Политическая и бизнес-элита мира тоже медленно просыпается: риски ИИ освещаются в докладах и презентациях Института инженеров по электротехнике и радиоэлектронике (IEEE), Всемирного экономического форума и Организации экономического сотрудничества и развития (ОЭСР). Даже в недавнем (июль 2017 г.) китайском манифесте об ИИ имеется специальный раздел «Надзор за безопасностью ИИ» и «Разработка законов, правил и этических норм», а также предусматривается создание «системы безопасности и оценки ИИ», в том числе «повышение осведомленности о рисках». Надеюсь, что новое поколение лидеров, осознающих «проблему контроля» ИИ и воспринимающих искусственный интеллект как экологическую угрозу, смогут отказаться от привычных «племенных» игр с нулевой суммой и направить человечество прочь из опасных вод, где мы ныне находимся, вверх, к звездам, ждущим нас вот уже миллиарды лет.

Вперед, к следующей сотне тысяч лет! И не стесняйтесь говорить правду, даже если ваш голос дрожит.

Глава 10

Технологические пророчества и недооцененная каузальная сила идей

Стивен Пинкер

профессор-стипендиат факультета психологии Гарвардского университета, экспериментальный психолог, областями интересов которого являются визуальное восприятие, психолингвистика и социальные отношения. Он автор одиннадцати книг, какие как «Чистый лист», «Лучшие ангелы