В 1950 году Алан Тьюринг разумно заметил, что вопрос: «Способны ли машины думать?» — бесполезен, и заявил: «Мне нужно заменить этот вопрос другим». В итоге он создал набор тестов, измеряющих возможности машины на основе того, насколько успешно она их выполняет, и, таким образом, заменил бинарный ответ на вопрос: «Способны ли машины думать?» — детальной оценкой: «Какие задачи способны выполнять машины?»

Потому давайте рассмотрим, что умеют делать машины.

Здесь и много где еще умные люди говорят нам, чтобы мы не беспокоились по поводу искусственного интеллекта, в то время как другие, не менее умные, люди заявляют, что беспокоиться надо. Так кому верить? Пессимисты предостерегают нас: мол, мы не знаем, как делать большие, сложные системы ИИ безопасными и надежными. Это вполне разумно. Мы также не знаем, как делать безопасными и надежными большие, сложные системы без ИИ. Нам надо лучше прогнозировать, контролировать и сдерживать непредвиденные последствия использования машин, которые мы строим. Например, мы изобрели двигатель внутреннего сгорания 150 лет назад, и он по большей части хорошо служит человечеству, но его появление также привело к повсеместному загрязнению окружающей среды, политической нестабильности, вызванной проблемой доступа к нефти, более чем миллиону смертей ежегодно в результате автомобильных аварий и (как говорят некоторые) снижению социальной сплоченности людей.

Искусственный интеллект дает нам мощные инструменты для построения систем, и, как в случае с большинством мощных инструментов, использование построенных с их помощью систем неизбежно будет иметь и ожидаемые, и непредвиденные последствия. Интересными проблемами, уникальными для ИИ, являются адаптивность, автономность и универсальность.

Системы, которые используют машинное обучение, адаптивны. Они изменяются со временем в зависимости от того, что они освоили на основе примеров. (Несмотря на то что вопрос о способности машин думать лингвистически противоречивый, в разговорном языке словосочетание «машины обучаются» вполне прижилось.) Адаптивность полезна. Мы хотим, например, чтобы программы автоматической проверки орфографии обучались новым терминам, таким как «биткоин», и чтобы нам при этом не надо было ждать очередной редакции словаря. Но иногда адаптивные программы можно подтолкнуть, пример за примером, к такому состоянию, когда их ответы будут неверными. Как проектировщикам мостов приходится решать проблему бокового ветра, так и разработчикам систем искусственного интеллекта тоже надо решать такие проблемы.

Некоторые критики опасаются, что системы ИИ строятся в рамках базовой схемы, ориентированной на максимальную полезность. Такая система оценивает текущее состояние мира, рассматривает все действия, какие может предпринять, моделирует их вероятные результаты, а затем выбирает то, что приведет к наилучшему. Она может совершать ошибки в любой момент в ходе этого процесса, но главная проблема тут состоит в определении наилучшего результата, того, чего именно мы хотим. Если мы неверно опишем наши пожелания, то можем получить совсем не то, что нам нужно. История свидетельствует, что такое случается с самыми различными системами, которые мы создаем, а не только с искусственным интеллектом. Предположим, что Конституция США — это компьютерная программа, в которой описаны наши желания; в таком случае отцы-основатели сделали то, что мы сейчас считаем ошибкой в определении, и мы потеряли более 600 000 жизней, прежде чем Тринадцатая поправка исправила эту ошибку. Подобным образом мы создали систему фондовых бирж, дающую нам возможность создавать пузыри, которые уже не раз лопались. Эти проблемы имеют важное значение для проектирования систем; мир сложен, и в нем непросто действовать.

Теперь коротко расскажу об автономности. Если системы ИИ действуют независимо, то они способны допускать ошибки, которых могли бы избежать, если б в контур был включен человек. Опять же это разумное замечание не относится исключительно к искусственному интеллекту. Возьмем нашу систему автоматических светофоров, которая заменила регулировщиков-людей, как только число машин стало столь большим, что возникла нехватка полицейских. Она допускает отдельные ошибки, но это считается разумным компромиссом. Мы и впредь будем идти на компромиссы при развертывании автоматизированных систем. В какой-то момент мы можем увидеть повсеместный рост разнообразных машин, которые вытесняют людей, что, вероятно, приведет к росту безработицы и неравенству доходов, — для меня это важнейшая проблема будущего развития систем ИИ. В технологических революциях прошлого — сельскохозяйственной и промышленной — менялся характер работы, но изменения происходили в течение жизни поколений, а не за несколько лет, что всегда приводило к появлению новых профессий, заменяющих старые. Мы можем переживать более быстрые потрясения, которые способны изменить само понятие постоянной работы (оно, кстати, существует всего-то несколько веков).

Постоянная работа защищает от перемен, гарантируя работнику стабильный источник дохода, при том что он вполне мог бы зарабатывать больше, будь они фрилансером или предпринимателем. В свою очередь, работодателю, вероятно, не нужен работник в течение всего года, но он готов платить за стабильный доступ к необходимым кадровым ресурсам. Таким образом, постоянная занятость обеспечивает стабильность, но не вполне оптимальна для обеих сторон. Если работников повсеместно заменить автоматами, то нам потребуется способ для восстановления этой стабильности.

Еще одна проблема — универсальность разумных машин. В 1965 году британский математик Ирвинг Джон Гуд написал, что «сверхразумная машина сможет создавать еще более умные машины; вне всякого сомнения, произойдет „взрыв разума“, а разум человека останется далеко позади. Таким образом, сверхразумная машина — это последнее изобретение, которое когда-либо совершит человек»{6}. Реальность оказалась немного сложнее.

Как вид мы, конечно, ценим разумность (в названии Homo sapiens есть это слово), но в реальном мире она — лишь одно из качеств. Самые умные люди не всегда самые успешные; мы не всегда принимаем наиболее мудрые меры. Недавно я целый час читал про Ближний Восток и много думал. И я не нашел решения. Теперь представьте гипотетическую Форсированную сверхразумную машину (такую, как у Ника Бострома), которая может думать как самый умный из людей, но в тысячу раз быстрее. Сомневаюсь, что и она найдет решение. Теория сложности вычислений обнаруживает широкий класс проблем, непосильных для разума — в том смысле, что, независимо от того, насколько вы умны, ни один из подходов не будет лучше перебора всех возможных решений. Для решения таких проблем не хватит никакой вычислительной мощности.

Конечно, есть множество ситуаций, в которых вычислительная мощность действительно нужна. Если я хочу смоделировать движение миллиардов звезд в Галактике или начать конкурировать на высокоскоростных биржах, то помощь мне не помешает. Компьютеры как таковые — это инструменты, встраиваемые в определенные ниши для решения задач социальных механизмов, которые мы создаем. Искусственный интеллект — просто еще одно изобретение, изменяющее социум, как тот же двигатель внутреннего сгорания, лопата, канализация или кондиционирование воздуха. Надо думать о том, как создать механизмы, которые упростят решение проблемы сложности мира. Надо проявлять осторожность при использовании систем ИИ, потому что у них случаются неполадки. В равной степени надо проявлять осторожность и при использовании систем без ИИ, потому что у и них случаются неполадки. Я не скажу уверенно, какие системы в целом безопаснее и надежнее — с ИИ или без него. Я предлагаю использовать инструменты, которые лучше всего подходят для конкретной задачи, независимо от того, есть на них наклейка «ИИ» или нет.