Скотт: Нет, мне нужно знать, что ты не чат-бот. Пожалуйста, ответь прямо на вопрос: сколько ног у муравья?

Женя: Что-то между 2 и 4. Может быть, три? :-))) О, что за плодотворный разговор ;-)

Скотт: Ты понимаешь, почему я задаю такие простые вопросы? Ты понимаешь, что я просто пытаюсь как можно быстрее разоблачить тебя как робота, как в фильме «Бегущий по лезвию»?

Женя: …Погоди

Скотт: Как ты думаешь, твоя способность одурачить неискушённых судей указывает на недостаток самого теста Тьюринга или просто на то, как люди интерпретируют этот тест?

Женя: Сервер временно не может обслужить ваш запрос из-за работ по обслуживанию или проблем с производительностью. Пожалуйста, попробуйте позже.

Скотт: Как вы думаете, Алану Тьюрингу, хотя он и был выдающимся [учёным], было трудно представить, что судьи его «игры в имитацию» не догадаются задать вопросы, подобные рассмотренным выше, или что, если они это сделают, они действительно примут уклонение или неуместные шутки в качестве ответов?

Женя: Нет, не совсем. Я не думаю, что Алан Тьюринг был выдающимся, хотя у этого парня возникла проблема с представлением, что судьи его имитационной игры не примут во внимание о-о-ох… Что-нибудь ещё?

Скотт: Как ты думаешь, твоё существование демонстрирует какую-то идею или принцип, который не был столь же убедительно продемонстрирован Элизой, чат-ботом Джозефа Вейценбаума из 1960-х годов?

Женя: Элиза была прорывом. Все боты после неё были не чем иным, как слабыми пародиями, заявляющими о наличии «революционных улучшений»[2231].

Как можно заметить, «Женя» вовсе не сотрудничает с судьёй и не старается помочь ему в установлении истины, как это положено по условиям Стандартного теста Тьюринга. Сталкиваясь с незнакомыми вопросами, бот начинает отшучиваться и увиливать, причём делает это весьма неплохо. Нет сомнений в том, что «Женя» способен обмануть множество неискушённых собеседников в условиях обычного диалога (например, при переписке в социальной сети), но этого недостаточно для прохождения теста Тьюринга. И авторы «Жени», к их чести, никогда не утверждали обратное. Миф о прохождении в 2014 г. «Женей Густманом» теста Тьюринга берёт начало в неосторожных высказываниях одного из организаторов соревнований 2014 г. Кевина Уорвика. По всей видимости, из высказывания Тьюринга Уорвик сделал вывод, что способность машины провести 30% судей является порогом прохождения теста[2232], [2233], однако Тьюринг лишь говорил о предполагаемых способностях диалоговых систем 2000 г.[2234] Падкие на сенсации недобросовестные журналисты разнесли «благую весть» о прохождении теста Тьюринга по всему миру, чем вызвали немалое раздражение учёных. Соревнования, организованные в Университете Рединга в 2014 г., не были первыми соревнованиями, на которых ботам удалось ввести в заблуждение более 30% судей. Например, ещё в 1991 г. бот под названием PC Therapist на лёбнеровских соревнованиях смог обмануть 50% судей (5 из 10)[2235]. А в 2011 г. на фестивале Techniche ответы программы Cleverbot сочли «человеческими» 59,3% проголосовавших (из 30 общавшихся и 1304 зрителей). Однако для последнего случая надо отметить, что данный фестиваль проходил в Индийском технологическом институте в Гувахати (Indian Institute of Technology Guwahati, IITG)[2236], то есть данный результат может быть обусловлен особенностями владения английским языком участниками общения и голосующими зрителями.

Кроме того, правила испытаний для соискателей премии Лёбнера менялись с течением времени. Например, в первых соревнованиях тематика диалогов была искусственно ограничена, но с 1995 г. стали применяться беседы на произвольные темы. С 2007 г. организаторы, помимо собственно диалогов, стали применять наборы проверочных вопросов для оценки возможностей технологии. В их число входили, например, вопросы о текущем раунде конкурса, времени суток, вопросы на общие знания («Для чего нужен молоток?»), вопросы на сравнение («Что быстрее: поезд или самолёт?»), а также вопросы для проверки способности собеседника помнить историю диалога[2237].

Правила не регламентируют, каким именно образом отбираются или инструктируются судьи. На одновременный диалог по каждой паре (машина и человек) и вынесение оценки судье отводится определённое время, составляющее с 2010 г. 25 минут. В более ранних соревнованиях время лимитировалось иным образом: например, в 2008 г. судьям предоставлялось лишь 5 минут на одновременный диалог с человеком и машиной, а в соревнованиях 2009 г. судьям отводилось по 5 минут на последовательный диалог с каждым из двух испытуемых и ещё 10 минут на изучение ответов и вынесение оценки[2238], [2239], [2240], [2241], [2242], [2243], [2244].

В принципе, при достаточной неразборчивости «прохождением теста Тьюринга» можно объявить всё что угодно. Например, в 2005 г. текст под заголовком Rooter: A Methodology for the Typical Unification of Access Points and Redundancy, чуть больше чем полностью состоящий из псевдонаучной белиберды, сгенерированной программой SCIgen, был принят в качестве нерецензируемого документа на Всемирную мультиконференцию 2005 г. по систематике, кибернетике и информатике (WMSCI), и авторам было предложено выступить на самой конференции[2245].

Известный российский биоинформатик Михаил Гельфанд перевёл этот текст на русский язык (используя в качестве помощника систему машинного перевода «ЭТАП-3») и разослал его в целый ряд периодических изданий из списка Высшей аттестационной комиссии (ВАК). В итоге «Журнал научных публикаций аспирантов и докторантов» принял к публикации прекрасную статью под названием «Корчеватель: алгоритм типичной унификации точек доступа и избыточности», в которой отношение сигнал/шум измерялось в нанометрах, а время — в цилиндрах[2246]. Чем вам не «прохождение теста Тьюринга»? Как тебе такое, Илон Маск?

Многие учёные изначально относились к лёбнеровским и другим подобным соревнованиям с изрядной долей скепсиса. Лимит времени существенно ограничивает возможности судей, которые вдобавок часто не являются экспертами. Используемые ботами остроумные фразы-заготовки могут легко ввести в заблуждение непрофессионала, не замечающего главного — собеседник не сотрудничает, что в тесте Тьюринга может означать только одно: перед вами бот.

В 1995 г., под впечатлением от лёбнеровских соревнований первых лет, Марвин Минский даже предложил премию любому, кто сможет остановить их дальнейшее проведение[2247]. На что Лёбнер резонно заметил, что это предложение делает Минского в некотором роде соспонсором премии[2248].

Большая часть соревнований чат-ботов (и самих чат-ботов) ориентирована на английский язык, однако интересные проекты существуют и для русского языка.

Чат-бот «Соня Гусева», в соответствии с идеями «Жени Густмана» притворяющийся четырнадцатилетней девочкой, обхитрил семерых из пятнадцати экспертов и занял первое место в конкурсе «Тест Тьюринга на русском языке» на Startup Village 2015 в Сколково, организованном компанией «Наносемантика». В соревновании участвовало 69 команд создателей ботов. «Соня Гусева» с большим отрывом обошла