Инопланетянин: Все в порядке?

Дженни: В порядке? Ты сошел с ума? Ты чуть не убил нас обоих! Ты сказал, что наблюдал за мной. И сказал, что знаешь дорожные правила!

Инопланетянин: Я знаю правила.

Дженни: К твоему сведению, на светофоре был желтый свет.

Инопланетянин: Я наблюдал за тобой очень внимательно. Красный цвет — стоять. Зеленый — можно ехать. Желтый — ехать очень быстро.

Дженни: Дай-ка лучше я сяду за руль.

Блестящий эпизод! Как и в случае шахматной программы, которая научилась подражать гроссмейстерам, отдающим своего ферзя, изучение правил только путем наблюдения может привести к катастрофе. Компьютеры, как инопланетные пришельцы, не имеют того, что мы называем здравым смыслом или интуицией, и не знают контекста, если только мы не сообщим его им или они не смогут создать его сами. На самом деле Человек со звезды не был абсолютно не прав; ему просто не хватило данных, чтобы понять, что ускорение на желтый свет зависит от более широкого контекста. Несмотря на петабайты данных, загруженных в память Watson, и миллиарды примеров, скормленных бездонному чреву Google Translate, эти программы иногда выдают странные результаты. Но, как это часто бывает в науке, мы извлекаем гораздо больше ценных знаний из непростых ситуаций, чем из благоприятных.

Весьма показателен ответ суперкомпьютера Watson на вопрос о том, какая «анатомическая особенность» была у одного из гимнастов — участников Олимпийских игр 1904 года. Сначала чемпион Jeopardy! Кен Дженнингс неуверенно предположил, что «у того была одна рука». Но он оказался неправ. Следующим свою версию предложил Watson: «Нога» (на самом деле в соответствии с правилами викторины он спросил: «Что такое нога?») — причем уровень достоверности этого ответа составил 61 %. Было совершенно ясно, что произошло. Гимнаст Джордж Эйсер лишился ноги и выступал с деревянным протезом. Поиск в базе данных дал множество результатов с именем Эйсер и словом «нога», обозначавшим анатомическое понятие. Пока все шло хорошо. Но дальше компьютер не смог понять, что наличие одной ноги не является «анатомической особенностью». Дженнингс ошибся по-человечески, сделав логичное предположение на основе нехватки данных. Watson ошибся как машина, имея правильные данные, но не сумел поместить их в широкий контекст, помогающий людям не выходить за границы здравого смысла.

Не знаю, был ли запрограммирован Watson обращать внимание на предыдущие ответы, но думаю, что в этом случае он бы сумел скомбинировать правильные данные с правильным предположением Дженнингса. На месте третьего игрока, Брэда Раттера — еще одного чемпиона Jeopardy! я бы так и поступил. Но он не доверял Watson, поскольку это было первое шоу с участием компьютера. Если бы Раттер воспользовался ответом Watson, моя идея о том, что люди и машины с искусственным интеллектом могут продуктивно работать вместе, получила бы подтверждение.

Любой, кто много путешествует, знает, насколько актуальна проблема адекватного перевода. Задолго до того, как интеллектуальные программы сделали для нас доступными многие языки, указатели, вывески и меню по всему миру изобиловали странными фразами наподобие «Комната отдыха для слабых» в аэропорту или «Тарелка с маленькими глупцами» в списке предлагаемых в ресторане блюд. Теперь Google и другие сервисы с лёту переводят целые веб-страницы, как правило, достаточно точно, чтобы понять смысл текста.

Разумеется, промахов по-прежнему много. Моя любимая ошибка — «чят», намеренно искаженное русское сленговое словечко, которое образовано от английского chat и иногда используется для обращения к аудитории в социальных сетях подобно тому, как пользователи Twitter приветствуют друг друга фразой «Привет, твипсы». Где-то в глубинах базы данных русского языка Google Translate слово «чят», состоящее их трех кириллических букв, ассоциируется, однако, с совсем другим значением. Я обнаружил это случайно, когда просматривал свою ленту в Twitter на компьютере друга с включенной функцией автоматического перевода. В переведенном варианте русские пользователи приветствовали друг друга: «Привет, чувствительные ядерные технологии!» Поиск в Google действительно выдал несколько малоизвестных правительственных документов, в которых аббревиатура ЧЯТ расшифровывалась именно таким образом.

Данная ошибка не настолько страшна, потому что у нас достаточно здравого смысла, чтобы обнаружить странность и отнести ее к несовершенству машинного перевода — вместо того, чтобы впадать в панику и повышать уровень ядерной боеготовности до DEFCON 2. Но что если бы это решение принималось алгоритмами ИИ, а не людьми? Как насчет секретных служб, опирающихся на компьютерный сбор и анализ высказываний на тему терроризма? Их сотрудники не показывают каждый твит человеку для двойной проверки — это замедлило бы процесс и снизило его эффективность. Но алгоритмы могут сделать тревожный вывод, что огромное число россиян обсуждают в социальных сетях ядерные технологии.

Машинам всегда будет трудно понимать новые технические термины и сленг: так же как у шахматного компьютера, у них нет ни интуиции, ни здравого смысла. Они должны сымитировать их. У них есть только оценочная функция, которая генерирует значение, отражающее уровень достоверности. Система машинного обучения настолько хороша, насколько хороши заложенные в нее данные, — точно так же, как дебютная книга шахматной программы настолько сильна, насколько сильны внесенные в нее партии. Поскольку количество переходит в качество, программа постепенно уменьшает число ошибок, сохраняя хорошие примеры и отбрасывая плохие со скоростью миллиард примеров в секунду, но аномалии наподобие «чувствительных ядерных технологий» все равно неизбежны!

Машинное обучение спасло ИИ от жалкого существования, поскольку работало и приносило прибыль. Компании IBM, Google и многие другие использовали его для создания продуктов, имевших практическое применение. Но можно ли назвать это ИИ? И так ли уж это важно? Теоретики ИИ, которые хотели понять и даже воспроизвести работу человеческого разума, в очередной раз были разочарованы. Американский информатик и когнитивист Дуглас Хофштадтер, написавший потрясающую книгу «Гёдель, Эшер, Бах: Эта бесконечная гирлянда» (1979), остался верен своему стремлению постичь человеческий разум. Но ИИ-сообщество, требовавшее немедленных результатов, продаваемых продуктов и все больше данных, забыло Хофштадтера и его работы,

В опубликованной в The Atlantic в 2013 году статье Джеймса Сомерса, посвященной Дугласу Хофштадтеру, последний с грустью размышляет о том, стоит ли выполнять задачу, если ее решение ничего не дает. «Итак, мы создали машину Deep Blue, которая сильно играет в шахматы. Ну и что из этого? — вопрошает он. — Улучшает ли она наше понимание того, как люди играют в шахматы? Нет. Позволяет ли она понять, как Каспаров анализирует ситуацию на доске, как выбирает ходы? Нет». По мнению Хофштадтера, системы, не пытающиеся ответить на такие вопросы, не имеют права называться искусственным интеллектом, какие бы впечатляющие результаты они ни показывали. Ученый дистанцировался от такого рода исследований почти сразу же, как только занялся ими. «Как человеку, понимающему суть ИИ, мне претило участвовать в этом обмане, — сказал он. — Я не желал выдавать поведение изощренной программы за интеллект, прекрасно зная, что оно не имеет ничего общего с интеллектом. Не знаю, почему все больше людей попадаются на этот крючок».