Мой любимый афоризм Эдсгера Дейкстры: «Вопрос „умеет ли компьютер думать“, имеет не больше смысла, чем вопрос „умеет ли подводная лодка плавать“». И все же мы продолжаем играть в имитацию: спрашиваем о том, насколько тщательно искусственный интеллект способен воспроизвести наш собственный, как будто в этом на самом деле и заключается вопрос. Конечно, если представить себе машины с чувствами и свободой воли, как у человека, то можно вообразить искусственный интеллект, ведущий себя неподобающе — идея об ИИ как о монстре Франкенштейна довольно распространена. Сейчас она переживает второе рождение, и я поначалу счел ее надуманной. Однако не так давно я пришел к выводу, что это не так.

Вот вам пример надуманной проблемы. У искусственного интеллекта так много направлений для развития, что концентрироваться лишь на тех, которые сближают его с человеком, можно только от недостатка воображения. Представления ранних футурологов оказались совершенно безосновательными, поскольку компьютеры, как выяснилось со временем, лучше всего справляются с тем, что у людей выходит не очень хорошо. Машины великолепно сортируют списки. Звучит это, может быть, и скучно, но задумайтесь о том, насколько сильно эффективная сортировка изменила мир.

Чтобы ответить на некоторые вопросы из тех, что мы здесь поднимаем, отмечу следующее: не вполне ясно, будет ли когда-нибудь практический смысл в том, чтобы у машин появились эмоции и внутренний диалог; в том, чтобы они смогли сойти за человека во время продолжительного допроса; в том, чтобы у них возникло желание иметь гражданские права и свободы, а также пользоваться ими. Это машины, и они могут быть чем угодно в зависимости от того, как мы их сконструируем.

Однако кое-кому хочется искусственного интеллекта, похожего на человеческий. Сколько вы уже видели роликов с японскими роботами? Honda, Sony и Hitachi уже расходуют существенные средства на создание умилительных двигающихся кукол, не имеющих никакой конкретной ценности, помимо использования в рекламе. Они делают это лишь по той простой причине, что техноэнтузиасты выросли на фильмах про роботов и разумные компьютеры.

Почти все, что можно создать — из принципиально реализуемого и достаточно недорогого, — уже создано. Так что искусственный интеллект, сравнимый с человеческим, — это мем, судьба которого очевидна вне зависимости от практической ценности. Он может привести к появлению хороших машин, мыслящих в соответствии с азимовскими законами. Но как только такая технология появится, она будет становиться все дешевле и рано или поздно попадет в руки любителей, хакеров и общественных деятелей, защищающих «права машин». Кто-то проявит заинтересованность в создании искусственного интеллекта, обладающего собственной волей и собственными интересами. Я уже не говорю о тех машинах, которые могут создать террористы, диктаторские режимы или разведывательные службы. Я думаю, что идею об ИИ как о монстре Франкенштейна, способном восстать против создателей, следует воспринимать всерьез.

Грегори Бенфорд

Почетный профессор физики и астрономии Калифорнийского университета в Ирвайне; писатель, автор, совместно с Ларри Нивеном, романа «Корабль-звезда» (Shipstar)

Искусственному интеллекту нет нужды становиться монстром Франкенштейна — тут мы можем верить скептикам. А еще мы можем положиться на наш самый загадочный дар — изобретательность.

Возьмем беспилотные автомобили. Какова вероятность того, что их алгоритм управления вдруг намеренно убьет пассажира? Она нулевая, если алгоритм разработан с умом. Страх перед авиакатастрофами и автомобильными авариями — хороший способ проверки для низкоуровневых форм искусственного интеллекта.

Почему люди опасаются того, что алгоритмы когда-нибудь станут опасными? Либо потому, что боятся программистов-злодеев, либо потому, что эти алгоритмы могут вызвать непредвиденные опасные последствия. Идея кажется разумной, но только на первый взгляд.

Наши страхи — наша лучшая защита. Ни один опасный алгоритм не избежит пристального взгляда множества скептически настроенных контролеров. Любой искусственный интеллект, способный действовать в реальном мире, где живем мы, будет инспектироваться самым строгим образом. Он пройдет эксплуатационные тесты, ограниченное использование, выборочные приемочные испытания. Эти меры не позволят бесконтрольно использовать потенциально вредоносные технологии. Однако нам надо отдавать себе отчет в том, что искусственный интеллект, как и многие другие изобретения, является частью гонки вооружений. Компьютерные вирусы стали первым примером, с тех пор как я изобрел первый вирус в 1969 году[51]. Они постоянно соревнуются с антивирусами, но они всего лишь вредители, не несущие смертельных угроз.

Алгоритмы «умного саботажа» (скажем, будущие версии червя Stuxnet) уже плавают по интернету, и они куда опаснее. Они могут по-тихому просочиться во многие рутинные операции компаний и целых государств. Большая их часть будет исходить от злоумышленников. Но у нас уже есть генетическое программирование и автономные информационные агенты, так что алгоритмы могут мутировать и эволюционировать по всем дарвиновским законам, особенно когда за ними никто не смотрит. Они будут становиться все умнее. Распределение вычислений по множеству систем или сетей еще больше осложнит процесс выяснения того, как обнаруженные части некоего кода соотносятся с целым алгоритмом более высокого порядка. Так что некоторые из них вполне способны избежать нашего пристального взгляда. Впрочем, алгоритмы защиты тоже могут эволюционировать, причем по ламаркистским законам, а направляемый отбор приводит к более быстрой эволюции. Так что у пристального взгляда есть кое-какие преимущества.

Мы, люди, существа страшные, злобные и подлые, но нас чертовски сложно уничтожить — и тому есть причина. Мы одерживали верх над множеством врагов — над хищниками, климатическими катаклизмами, конкуренцией с другими гоминидами — в течение сотен тысяч лет, став в итоге самым агрессивным видом, которого боятся все прочие. Лес затихает, когда мы проходим по нему; мы — высшие хищники.

Это дает нам такие инстинкты и такой склад ума, которые проявляются в вещах, на первый взгляд вполне безобидных, например футбол, регби и множество других игр с мячом. Мы обожаем гоняться за маленькими подпрыгивающими предметами, которые сложно поймать и удержать. Почему? Потому что когда-то мы делали нечто похожее, чтобы выжить, — мы охотились. Футбол — это как погоня за кроликом. Такая же животная энергия бурлит и в нашем обществе. Любой искусственный интеллект, вознамерившийся захватить мир (мем, характерный для множества плохих научно-фантастических фильмов), обнаружит, что ему противостоит выносливый, злобный и умный вид, сражающийся на своей территории, в реальном физическом мире, а не в вычислительной абстракции из нулей и единиц. Я бы поставил на животное начало.

На самом деле меня беспокоит только одно: конечно, мы можем сделать так, чтобы алгоритмы лучше людей справлялись с отвлеченными действиями. Множество профессий исчезли потому, что их заменило хитроумное ПО. Но, по мере того как формы искусственного интеллекта становятся умнее, не будут ли они разрушать людскую уверенность в себе? Опасность реальная, но не слишком серьезная для большинства из нас (в особенности для тех, кто читает этот текст). Многие люди потеряли работу из-за того, что ею теперь занимаются компьютеры, хотя ни один лизоблюд из отдела кадров прямо об этом не скажет. Менеджеры среднего звена, секретари, диспетчеры транспортных компаний — список бесконечен. Всех их заменили компьютерными программами. Но эти люди не унывают. Большинство из них начали заниматься чем-то еще. Мы научились довольно неплохо справляться с таким положением вещей, не впадая в луддитскую ярость. Но нам не совладать с проблемой, которая сегодня выглядит как маленькая тучка на горизонте: искусственный интеллект, работающий лучше нас, причем на гораздо более высоком уровне.