Данное от природы и полученное от воспитания часто противопоставляются. Но на самом деле эти вещи работают совместно. Природа дает нам механизмы обучения, которые позволяют использовать приобретаемый опыт интересными способами.

М. Ф.: Наличие структур показали эксперименты с младенцами, которые умеют распознавать лица.

Г. М.: Именно так. Это подтверждают мои эксперименты с восьмимесячными детьми, а недавно в журнале Science была опубликована статья, в которой утверждалось, что способность к логическим выводам появляется только после первого года жизни. Дело в том, что термин «врожденный» не означает появляющийся в момент рождения. Борода начинает расти после полового созревания. Большая часть человеческого мозга развивается уже вне матки, при этом развитие начинается относительно рано.

Жеребята почти сразу начинают ходить и обладают сложным зрением, позволяющим видеть препятствия. У человека подобные механизмы включаются в первый год жизни. Когда ребенок учится ходить, мы наблюдаем процесс созревания. Голова с полностью развитым мозгом оказалась бы слишком большой и не смогла бы пройти через родовые пути.

М. Ф.: Получается, что, если сразу после рождения мы обладали бы способностью ходить, все равно пришлось бы ждать развития мышц.

Г. М.: Да, мы рождаемся не до конца развитыми, и многое из происходящего с нами в первые месяцы заложено генетически. Об обучении в этом случае речи не идет. Козленок уже через пару дней после рождения может спускаться по склону горы. Он не учится этому методом проб и ошибок. Я думаю, что геном человека передает шаблон того, как должен работать мозг, а ребенок потихоньку все это развивает. При этом в шаблон уже заложены механизмы обучения.

Почему-то есть тенденция создавать ИИ с минимумом предварительных знаний. Мне это кажется неразумным. Информацию о мире нужно сразу встраивать в системы ИИ, нежели разрабатывать их с нуля.

М. Ф.: Все врожденные вещи в мозге, вероятно, появились в результате эволюции. В ИИ-системах их можно или закодировать, или использовать эволюционный алгоритм для их автоматической генерации.

Г. М.: К сожалению, эволюция – это довольно медленный и неэффективный процесс. Для получения хороших результатов нужны триллионы организмов и миллиарды лет. Вряд ли в лабораторных условиях таким путем можно далеко продвинуться в разумные сроки.

Кроме того, первые 900 млн лет эволюции ничего особо захватывающего не происходило. Разные версии бактерий сменяли друг друга, что не представляет особого интереса. Затем процесс ускорился, появились позвоночные, млекопитающие, приматы и, наконец, мы. Причиной ускорения стало, если можно так выразиться, множество накопленных подпрограмм и библиотечного кода. А чем больше подпрограмм, тем быстрее можно создавать более сложные вещи. Одно дело внести в мозг приматов ряд генетических изменений, чтобы получить человека, но с уровня бактерии подобный скачок невозможен.

Люди, которые используют для тренировки нейросетей эволюционные алгоритмы, часто начинают практически с нуля. Они пытаются развить отдельные нейроны и связи между ними, но лично я считаю, что в процессе биологической эволюции люди обладали очень сложными наборами генетических процедур. По сути, работать следует с существующими наборами генов, но в контексте эволюционного программирования реализовывать это пока никто не умеет.

Думаю, рано или поздно к этому все придет, но пока ученые играют в бога, создающего мир за семь дней.

М. Ф.: А как может выглядеть процесс встраивания врожденных качеств в ИИ-систему?

Г. М.: Этот вопрос состоит из двух частей: функциональная часть – что нужно сделать и механическая – каким образом.

В начале 2018 г. на базе собственных исследований и работ Элизабет Спелке из Гарварда я написал статью, где перечислил необходимые вещи. В этот список попали манипулирование символами, представление абстрактных переменных и операции с ними, умение отличать значение слова (оно обозначает конкретный объект или тип объектов), понимание причинно-следственной связи, инвариантность перевода, представление о связанных траекториях движения объектов в пространстве и времени, осознание многообразия мира.

Глубокое обучение с подкреплением дает впечатляющие, но крайне нестабильные результаты. Например, в компании DeepMind ИИ обучили игре Breakout от Atari. И на первый взгляд ИИ отлично справился: нашел способ рикошетить от стен так, чтобы сбить максимальное количество кирпичей. Но стоит переместить ракетку вверх на три пиксела, и чудо закончится, ведь система не знает, что такое стена и рикошет.

М. Ф.: Для понимания объектов и концепций нужен более высокий уровень абстракции.

Г. М.: Именно так. Возможно, даже имеет смысл сразу встраивать определенные понятия, например «объект». Вспомните, как люди учатся распознавать цвета. В сетчатке глаза присутствует три типа цветовых рецепторов, чувствительных к разным участкам спектра. Дальше ребенок постепенно узнает, как называются цвета, которые он видит. Но без врожденной способности различать цвета вторая часть становится невозможной. Поэтому ИИ-системам может понадобиться врожденное представление о существовании объектов и о том, что их появление и исчезновение происходят неслучайным образом.

Представьте мир, в котором существует машина для телепортации, как в сериале «Звездный путь», и в любом месте в любой момент может появиться что угодно. На таких данных учиться невозможно. Изучать свойства объектов позволяет тот факт, что в пространстве и времени объекты перемещаются по связанным траекториям, и так сложилось за миллиарды лет эволюции.

М. Ф.: Можно ли создать сильный ИИ с помощью существующих в настоящее время инструментов и какие препятствия стоят на пути к нему?

Г. М.: Глубокое обучение я считаю инструментом, отлично подходящим для классификации шаблонов. Пока нет ничего эффективнее. Но оно не учит рассуждать и делать выводы на абстрактном уровне. Не очень подходит для работы с языком в случаях, когда требуется реальное понимание. Плохо справляется с ситуациями, которые раньше не возникали, и в случаях с неполной информацией. Поэтому его необходимо дополнять другими инструментами.

В более широком смысле, накопленные людьми знания о мире можно записать символически с помощью математики или предложений естественного языка. И мы хотим объединить эту символическую информацию с другой информацией, получаемой путем субъективного восприятия.

Психологи говорят о связи между информацией, которая обрабатывается снизу вверх (взгляд на изображение), и обрабатываемой сверху вниз (интерпретация увиденного на базе личного опыта).

Современные системы глубокого обучения имеют дело с восходящей информацией. Они могут интерпретировать пикселы, но не объект.

В статье Adversarial Patch («Состязательный патч») демонстрируется способ обмануть систему глубокого обучения, добавив на изображение стикер. Система без проблем распознает изображенный на фото банан, а затем рядом наклеивается картинка, напоминающая выкрашенный в ядовитые цвета тостер. Человек сразу скажет, что это банан и забавная наклейка, в то время как система глубокого обучения уверенно опознает всю картинку как тостер.