Я хочу описать еще одну вопросно-ответную задачу, специально разработанную для проверки понимания “прочитанного” системой ОЕЯ. Прочитайте предложения и вопросы:

Предложения 1 и 2 по-английски различаются только одним словом (опасались / призывали), но именно это слово определяет ответ на вопрос. В предложении 1 местоимением “они” обозначены городские власти, в предложении 2 – протестующие. Как мы, люди, понимаем это? Мы полагаемся на свои фоновые знания о функционировании общества: мы знаем, что протестующие имеют повод для недовольства и порой призывают к беспорядкам на митингах или провоцируют их.

Вот еще несколько примеров[305]:

Уверена, вы уловили смысл: два предложения в паре различаются одним словом, но именно от этого слова зависит, к какой вещи или человеку относится местоимение “он”. Чтобы верно ответить на вопросы, машине необходимо не только обрабатывать предложения, но и понимать их, по крайней мере в некоторой степени. В целом для понимания этих предложений необходимы знания, основанные на здравом смысле. Так, дядя обычно старше племянника, при переливании воды из одной емкости в другую первая емкость пустеет, а вторая наполняется, а если что-то не проходит в проем, то эта вещь слишком широка, а не слишком узка.

Такие миниатюрные тесты на понимание языка называются схемами Винограда по имени пионера ОЕЯ Терри Винограда, который первым предложил их использовать[306]. Схемы Винограда составляются таким образом, чтобы вопросы не вызывали затруднений у людей, но озадачивали компьютеры. В 2011 году три исследователя ИИ – Эктор Левек, Эрнест Дэвис и Леора Моргенштерн – предложили использовать большой набор схем Винограда в качестве альтернативы тесту Тьюринга. Ученые заявили, что в отличие от теста Тьюринга тест на схемах Винограда исключает для машины возможность дать верный ответ, ничего не понимая о предложении. Они выдвинули гипотезу (сформулированную весьма осторожно), что “с очень большой вероятностью машина, способная давать верные ответы, демонстрирует признаки того, что люди назвали бы мышлением”. Ученые продолжили: “Наше испытание [на схемах Винограда] не позволяет испытуемому скрываться за пеленой словесных уловок, шуток и заготовленных ответов… Предложенная нами проверка, несомненно, менее трудоемка, чем разумная беседа о сонетах (например), которую представлял Тьюринг, но при этом она позволяет провести тестирование, которое сложнее обмануть”[307].

Несколько групп, изучающих обработку естественного языка, провели эксперименты с разными системами для ответа на вопросы схем Винограда. На момент написания этих строк лучшая программа дает около 61 % верных ответов при работе с набором из примерно 250 схем[308]. Точность случайного угадывания составила бы 50 %, а следовательно, машина справляется с задачей несколько лучше, но значительно уступает людям, которые предположительно дают 100 % верных ответов, если читают вопросы внимательно. Получая схему Винограда, программа выбирает ответ, не понимая предложения, а анализируя статистику фрагментов фраз. Рассмотрим предложение “Я лил воду из кувшина в стакан, пока он не наполнился”. Чтобы составить примерное представление о том, что делает программа-победитель, впишите в строку поиска Google два следующих предложения поочередно:

Google выдает количество “результатов” (то есть обнаруживаемых в интернете соответствий) для каждого из предложений. Когда я проводила поиск, первое предложение давало около 97 миллионов результатов, а второе – около 109 миллионов. Мудрый интернет верно говорит нам, что второе предложение с большей вероятностью составлено верно. Такая хитрая уловка позволяет добиться лучшего результата, чем при случайном угадывании, и меня не удивит, если точность машин при работе с этим набором схем Винограда будет неуклонно возрастать. И все же я сомневаюсь, что этот чисто статистический метод в ближайшее время достигнет человеческого уровня при работе с более крупными наборами схем. Возможно, это к лучшему. “Пока ИИ не может определить, что означает «он» в предложении, сложно поверить, что он захватит мир”, – сострил Орен Этциони, директор Института Аллена[309].