Новое поколение систем ИИ все еще очень далеко от того, чтобы воспроизвести универсальность человеческого разума, и трудно предположить, сколько на это уйдет времени. Но все яснее становится тот факт, что фундаментальных преград на пути к человекоподобным разумным системам нет. Мы начали разделять разум на части, как пазл, и в сущности каждого из них, по-видимому, можно разобраться. Но если мы просто соберем все эти кусочки в единую рабочую модель, то разум, подобный человеческому, у нас не получится.

В отличие от биологических систем, технология масштабируется. Скорость самой быстрой птицы не стала предельной скоростью для самолетов, а искусственные разумы будут быстрее, точнее, внимательнее, сознательнее и содержательнее, чем их человеческие аналоги. ИИ заменит людей, принимающих решения, администраторов, изобретателей, инженеров, военных стратегов, дизайнеров, рекламистов и, конечно, программистов, работающих с ИИ. Таким образом, искусственные интеллекты могут стать самосовершенствуемыми, и тогда они окончательно превзойдут человеческие разумы по всем направлениям. Я не думаю, что это произойдет одномоментно (иначе важно было бы только то, у кого окажется первый из них). Пока у нас не появится универсально разумный, самосовершенствующийся ИИ, перед нами пройдет множество примеров специализированных под определенные задачи неуниверсальных ИИ, к которым мы сможем приспособиться. Очевидно, это уже происходит.

Когда универсально разумные машины станут реализуемой технологией, их производство будет относительно дешевым и они появятся у каждой корпорации, у каждого правительства, то всякой крупной организации придется создавать и использовать такие машины, чтобы не проиграть в конкуренции.

Что случится, когда искусственный интеллект обретет собственное мнение?

Разум — это ящик с инструментами, который мы используем, чтобы решить ту или иную задачу, но, строго говоря, он не определяет мотивов и целей сам по себе. Стремление человека к самосохранению, власти и опыту — это результат работы не разума, а эволюции приматов, переведенный в эпоху усиления стимулов, массовых взаимодействий, символических удовольствий и нарративной перегрузки. Мотивами наших искусственных разумов (по крайней мере, первое время) будут мотивы организаций, корпораций, групп или отдельных людей, использующих эти разумы. Если бизнес-модель компании не отличается благими намерениями, то ИИ потенциально может сделать ее по настоящему опасной. Подобным образом если организация стремится делать жизнь людей лучше, то ИИ повысит ее эффективность в плане реализации благонамеренного потенциала.

Мотивация наших искусственных интеллектов будет возникать из уже существующих социальных кирпичиков; всякое общество будет иметь такой ИИ, которого заслуживает.

Наши нынешние общества в этом смысле не очень хорошо организованы. Наши способы производства расточительны, а распределение ресурсов разорительно — и наши институты управления непригодны для решения такого рода проблем. Наша цивилизация — это агрессивно разрастающаяся воронка энтропии, которая разрушает на своих границах больше, чем создает в центре.

ИИ может сделать эти деструктивные тенденции более эффективными, а следовательно, более катастрофическими, равно как может помочь нам решить экзистенциальные проблемы нашей цивилизации. Создание благонамеренного искусственного интеллекта тесно связано с задачей построения общества, обеспечивающего правильную мотивацию своих элементов. Наступление новой эпохи мыслящих машин может заставить нас в корне пересмотреть наши институты управления, распределения и производства.

Квентин Харди

Заместитель технического редактора New York Times; преподаватель в Школе информационных технологий Калифорнийского университета в Беркли

Когда-то на удивительных неизвестных землях средневековых карт жили разные существа. Эти животные были порождены причудливой комбинацией слухов и недомолвок: безголовые люди с лицом на торсе или люди, у которых человеческие черты смешаны с чертами льва или собаки, — своеобразное связующее звено между человеком и животным. Они были выражением страхов и надежд относительно того, что находится за гранью изведанного. Сегодня мы представляем себе мыслящие машины.

Помимо самосознания, воображаемые звери с острова ИИ владеют способностями к вычислению и предсказанию, свободой мысли и всей информацией, которую собрали их создатели. Пессимисты опасаются, что эти машины могут рассмотреть наше дело и вынести нам смертельный приговор. Оптимисты надеются, что ИИ будут руководствоваться благими намерениями и способствовать просвещению и спокойствию людей.

Ни одна из версий столкновения с самостоятельным рукотворным разумом не выглядит основательной. Это не значит, что они как таковые неинтересны. Старые карты рисовались во времена примитивных технологий мореходства. Мы начинаем исследовать мир, полный компьютерных чар. Существа с острова ИИ соединяют в себе черты человека и машины в той же мере, в какой их предшественники соединяли черты человека и животного. Если бы они умели петь, то пели бы песни о нас.

Что мы имеем в виду, когда говорим о разуме, который может взглянуть на человечество и возжелать его смерти или обеспечить ему такое просвещение, которого не бывало ранее? Определенно, мы подразумеваем нечто большее, чем то, что дает машине возможность выигрывать в шахматы. У нас есть подобная машина, и после ее появления в мире не произошло никаких заметных изменений, кроме разве что еще одной причины славить совершенно человеческий интеллект создателей Deep Blue. Существа с острова ИИ умеют кое-что куда более интересное, чем победа над Каспаровым. Им хочется играть в шахматы. Им знакомо радостное возбуждение, доставляемое стимуляцией ума, и муки, вызываемые ее обратной стороной — скукой. Это подразумевает создание ПО, в котором прописано осознание того, что у существа есть только одна конечная жизнь, что почему-то имеет огромное значение для некой неуловимой субъектности. Это ПО практически сводит с ума отсутствие определенной стимуляции — возможно, игры в шахматы. Или уничтожения человечества.

Как и мы, удивительные существа с острова ИИ желают оправдывать себя и судить других. У них есть та же небольшая отдаленность от остальной части реальности — отдаленность, которой, как нам кажется, не ощущают другие животные. Разум, подобный нашему, знает, что он разумен, чувствует ошибочность чего-либо и постоянно старается это исправить.

Имея такие проблемы с ПО, а также учитывая уже существующие техногенные угрозы нашему виду, надо ли беспокоиться по поводу злонамеренного искусственного интеллекта? В течение минимум нескольких десятилетий куда более серьезную опасность для нас будут представлять межвидовые моровые болезни, предельное истощение ресурсов, глобальное потепление и ядерное оружие. Потому-то в наших прометеевых страхах и возникает злонамеренный искусственный интеллект — это опосредованное представление о том, как мы сами, находясь на пике развития собственного разума, сознательно убиваем себя.

Представления о благонамеренном искусственном интеллекте являются в равной степени саморефлективными. Машины обращают свои сверхразумы к тем, кто их создал, а не против них. Учитывая уровень автономности, присущий высокоразвитому ИИ, следует полагать, что эти существа будут заинтересованы в нас. Если задуматься, то злонамеренный искусственный интеллект тоже будет в нас заинтересован — только со знаком «минус».