Очевидно, эффективность некоторых вопросов, задаваемых X и Y, зависит от моды: если за основу различения взять длину волос и прическу, то, например, в 1970-х годах это привело бы к значительным ошибкам. Тем не менее для специалистов по языку и ИИ в задаче Тюринга есть очень важный момент — для того, чтобы компьютер перехитрил нас и заставил думать, что он — человек, он должен понимать и генерировать ответную реакцию, которая успешно имитировала бы важную когнитивную функцию.

Чтобы продемонстрировать, что жесткая позиция относительно ИИ не выдерживает критики, Сирл предложил следующую головоломку. Предположим, что некоего человека заперли в комнате, где находится много китайских текстов. Этот человек ничего не понимает по-китайски и даже не способен отличить китайские иероглифы от каких-либо других. Ему в комнату передают еще один набор китайских знаков вместе с набором правил для сопоставления первого и второго набора символов. Эти правила всего лишь позволяют связывать один набор символов с другим, и написаны они на английском языке. При помощи этих правил сопоставления человек в «китайской комнате» может давать осмысленные ответы на вопросы о содержании китайских текстов, несмотря на то что он, в сущности, не знает этого языка. Через какое-то время он приобретает такую сноровку, что может отвечать как на своем родном английском, так и на китайском языке, которого не знает, но дает ответы, основываясь на правилах. Результаты настолько хороши, что их «совершенно нельзя отличить от ответов урожденного китайца» (Searl, 1980). Человек, запертый в «китайской комнате», — это простая конкретная иллюстрация компьютерной программы: «данные на входе-данные на выходе». Вплоть до этого момента почти никто из ИИ-защитников не возражает, но затем Сирл делает еще один шаг вперед. Способность выполнять такие функции, как перевод по сложным правилам, не означает, что тот, кто это делает, понимает значение «выходных данных». Человеческий разум характеризуется произвольностью (см. Searl, 1983), которая, согласно Сирлу, определяется как «свойство психических состояний и явлений, направляющее их на объекты и ситуации в окружающем мире». К таковым относятся убеждения, страхи, желания и намерения. Независимо от того, насколько «неотличимо» поддельное мышление от «настоящего» (человеческого), они не суть одно и то же, поскольку у мыслящего человека есть намерения и поскольку между этими двумя «мыслящими» существуют физические различия: одного сделали органическим способом, а второго — электронным.

Компьютерщики немедленно выдвинули возражения против головоломки Сирла (см. Boden, 1989) — прежде всего с позиций семантики: термины «произвольность», «понимание», «мышление» употребляются им без четких операциональных референтов. В качестве возражения был приведен такой пример: если бы человек в «китайской комнате» выполнял описанные функции, то он (или система) действительно достиг бы как минимум некоторого уровня понимания. Кроме того, аргументы Сирла отклонялись на основании «приведения к абсурду»: если довести ситуацию до логического конца, то оказалось бы возможным создать робота, в каждой своей детали идентичного мыслящему человеку, и все же последний был бы способен к «пониманию» и «произвольности», а первый — нет. Наконец, некоторые специалисты по ИИ полагают, что «понимание» и «произвольность» вызываются конкретными материальными свойствами. Пилишин (Pylyshyn, 1980) с иронией замечает, что, возможно, произвольность — это такое вещество, которое выделяется человеческим мозгом; он предлагает свою собственную загадку: