Нам нужен тест трех колец[125]. Что такое настоящий ИИ? Что такое «интеллект» вообще? Шкала интеллекта Стэнфорд — Бине, коэффициент интеллекта как отношение умственного возраста к истинному (IQ) Уильяма Штерна — им уже больше ста лет! Это нам уже не подходит, а еще меньше будет подходить для ИИ. Так на самом деле можно проверить только способность выполнять эти тесты и способность действительно умных людей… избегать их выполнения.

Мы слишком легко пользуемся терминами типа «искусственный интеллект»; как там было у Хемингуэя: «Все наши слова притупились из-за небрежного обращения с ними»[126]. Детям об искусственном интеллекте известно из игр: зомби, драконы, солдаты, пришельцы. Если они уклоняются от ваших выстрелов или слаженно вас атакуют, то это называется «ИИ». Если регулируют отопление, освещение, закрывают дверь гаража, нам говорят, что это «умный дом». Конечно, ум подобных механизмов сводится к обычным «экспертным системам»: справочным таблицам, правилам, библиотекам кейсов. Может быть, их следует называть, по выражению художника Тома Беддарда, просто «искусственными хитростями»?

Предположим, вы разговариваете о еде с каннибалами, но каждое их предложение крутится вокруг приправленных трюфелями локтей, тефтелей с коленными чашечками, пенисов в вине, мочек ушей с пикантным соусом. С их точки зрения, вы вне их системы взглядов и не можете понять их мышление, по крайней мере в этой конкретной, узкой области. Настоящее значение и эмоциональное воздействие, которые имеют их слова, когда их произносят для кого-то другого, для вас просто не существуют (или требуют довольно значительной коррекции диеты). Конечно, каннибалы наделят вас статусом «разумного существа», но все равно станут смеяться над каждой вашей репликой, поскольку для них она будет звучать неубедительно и фальшиво — «не по-каннибальски», так сказать.

Зигмунд Фрейд впервые написал о «зловещем» в 1919 году (оговорка по Фрейду — в заключении статьи он проводит связь с женскими гениталиями); затем в 1970 году Масахиро Мори описал понятие «зловещая долина» (применительно к «венской руке» — старинному протезу). Это жуткое чувство того, что нечто не вполне нормально, не на своем месте (фрейдовское Unheimliche). Вроде как видишь страстно целующуюся парочку, но если приглядишься, заметишь между людьми стеклянную панель.

ИИ запросто может казаться чем-то настоящим, но на самом деле до того, как он станет таким настоящим, еще очень далеко. Все равно что поцелуй через стекло: выглядит как поцелуй, но остается лишь бледной тенью настоящего.

Я признаю за сторонниками ИИ все семантическое мастерство Шекспира: символами они жонглируют безупречно — упуская прямую связь с идеями, которые представлены этими символами. Многое из того, что точно скоро появится, можно было бы отнести к олдскульному «сильному ИИ».

Все, что решаемо в рамках итеративного процесса, может быть достигнуто (и будет), причем раньше, чем думают многие. По этому вопросу я, против своей воли, примкну к сторонникам ИИ: эксафлопсы мощности CPU + GPU, виртуальная реальность с разрешением 10K и эффектом погружения, личные базы данных в несколько петабайт появятся через пару десятилетий. Но это все «итеративное». Между ним и уровнем сознательного понимания, которое действительно заслуживает того, чтобы его называли сильным, как у «живого ИИ», огромный разрыв.

Вот большой заковыристый вопрос: является ли сознание эмерджентным поведением? Иначе говоря, приведет ли достаточная сложность аппаратной части сама по себе к неожиданному появлению самосознания? Или есть еще какой-то неизвестный ингредиент? Не так уж это очевидно; у нас все равно никаких данных нет. Лично я думаю, что сознание — вещь куда более сложная, чем считает большинство «экспертов».

Человек — это не просто набор из x аксонов и синапсов, и у нас нет причин рассчитывать на то, что при таком-то числе флопс в секунду в обычной фоннеймановской архитектуре удастся вдруг получить мыслящую машину. Если и есть вероятность, что возникнет настоящее машинное сознание, давайте сразу разберемся, к чему это может привести. Если машина действительно обладает самосознанием, она по определению вырабатывает личность. Она может быть вспыльчивой, кокетливой, может быть величайшим всезнайкой-эрудитом — не исключено, что удивительно чванливым.

Будет ли она испытывать сомнения или зависть? Не изрыгнет ли она сразу Бранденбургский концерт № 7, а потом еще тысячу?

Или она вдруг усвоит юмор и обнаружит дадаизм во всех своих данных в бесконечном цикле? Или отыщет «убийственную шутку» группы «Монти Пайтон»?

Возможно, она пристально всмотрится в мир, придет к неизбежным выводам и сама себя отключит! Интересно: а ведь разумную машину нельзя будет выключать — это же убийство…

Идея о том, что некая большая машина как-то что-то «захватывает», вообще смехотворна. Голливуду должно быть стыдно за такие упрощенческие, антропоцентрические и просто глупые выдумки, противоречащие основам физики, логики и здравому смыслу.

Я опасаюсь, что настоящая угроза куда более прозаична. Уже заметна жуткая истина: системы ИИ работают в индустрии здравоохранения, у фармакологических гигантов, страховых компаний, военных… Опасность исходит не от Machina sapiens. Она будет… вполне человеческой.

В конечном счете, однако, я хочу верить в наш дух. Закончу симметрично, еще одной строкой из Э. Э. Каммингса:

Георг Диес

Писатель, журналист, Spiegel Online; бывший редактор отдела культуры газет Süddeutsche Zeitung, Frankfurter Allgemeine Zeitung и Die Zeit

Мыслящая машина, Смятение Тьюринга: это правда все меняет? В конце концов, считать, что именно так все и устроено, что одно событие может разделить время, человека, мышление, — просто человеческая глупость. Самоотрицающая и в то же время самовозвеличивающая сентиментальность, одновременно оптимистическая и пессимистическая, нигилистическая и идеалистическая.

Что это в действительности значит? И кому судить? Что такое «всё»? И что такое «менять»? Что такое «до», и что такое «после»? Нам надо бы сначала договориться о текущем состоянии дел, что само по себе достаточно сложно. Свободны ли мы, например? И свободны от чего? Является ли биология системой, допускающей свободу? В определенной мере да. Является ли демократия системой, допускающей свободу? Да, но лишь теоретически и не всегда, а в последнее время, к сожалению, все реже. Является ли капитализм системой, допускающей свободу? Не для всех, это уж точно.