В 1962 г. Стюарт Дрейфус, младший брат Хьюберта Дрейфуса, смог несколько упростить метод Келли и Брайсона, используя принцип динамического программирования и цепное правило, применяемое при вычислении производной сложной функции[1374]. В 1960-е гг. решением сходных проблем, помимо Келли, Брайсона и Дрейфуса, занимался целый ряд учёных в разных странах. Например, в СССР исследования в этой области вёл один из самых знаменитых советских математиков — Лев Понтрягин[1375]. Потерявший в 14 лет зрение из-за несчастного случая (взрыва примуса), Понтрягин, благодаря собственному упорству и деятельной помощи матери, смог не только преодолеть выпавшие на его долю трудности, но и сделать выдающуюся научную карьеру[1376].

Однако работы этих учёных на тот момент оказались не замечены сообществом коннекционистов. В 1970 г. в магистерской диссертации финского исследователя Сеппо Линнайнмаа был представлен метод автоматического дифференцирования дискретных связанных сетей с помощью вложенных дифференцируемых функций. Описанный Линнайнмаа алгоритм фактически соответствует современной версии метода обратного распространения ошибки, однако и здесь данный метод рассматривался вне связи с нейросетевыми моделями[1377].

В наши дни неизвестны свидетельства того, что Розенблатт задумывался о применении методов градиентного спуска для обучения перцептронов. Впрочем, авторство самого термина back propagation принадлежит именно Розенблатту[1378]. Один из разделов «Принципов нейродинамики», озаглавленный «Процедуры коррекции ошибки с обратным распространением» (Back-Propagating Error Correction Procedures), посвящён описанию алгоритма обучения трёхслойного перцептрона с переменными S—A-связями[1379]. Однако описанный Розенблаттом метод не имеет практически ничего общего с тем, что в наши дни называют методом обратного распространения ошибки. Использование функции Хевисайда в качестве функции активации в розенблаттовских перцептронах делало применение градиентного спуска невозможным. В несколько более выгодном положении оказался Уидроу: он успешно применял градиентный спуск при обучении однослойного ADALINE, однако в случае с MADALINE он наталкивался на ту же проблему — ступенчатая функция активации теряла важную для вычисления градиента информацию[1380].

Идея применить для обучения многослойных нейронных сетей метод, уже хорошо известный специалистам в области автоматического дифференцирования сложных функций, независимо возникла у советских и американских математиков. В США её впервые высказал Пол Вербос в диссертационной работе, увидевшей свет в 1974 г.[1381]

В начале 1970-х гг. Вербос посетил Минского в MIT и предложил ему совместную работу, идеей которой было продемонстрировать, что многослойные перцептроны могут преодолеть существующие ограничения за счёт модификации модели искусственного нейрона. Идея заключалась в замене функции активации на дифференцируемую функцию и применении метода обратного распространения ошибки для обучения многослойных сетей, составленных из таких нейронов. Однако Минский (сюрприз! сюрприз!) не выказал интереса. Вербосу не удалось заинтересовать этой идеей и других учёных из MIT, Гарварда и прочих вузов, с которыми он связывался.

По иронии судьбы Вербос черпал вдохновение отчасти в одной из ранних работ Минского, в которой тот предложил использовать обучение с подкреплением в качестве способа для создания универсального ИИ. Впрочем, первые попытки реализации этого метода были не более успешны, чем первые опыты с многослойными перцептронами[1382].

Другим неожиданным источником вдохновения для Пола Вербоса стала теория психодинамики Зигмунда Фрейда. Идеи Фрейда о принципах работы нервной системы привели Вербоса к мысли о том, что обучение в естественной нейронной сети основано на распространении подкрепления в направлении обратном нормальному течению сигнала при возникновении реакции на стимул. Это озарение, пришедшее в голову Вербоса в 1967 г., отражено в его набросках к диссертации, выполненных пятью годами позже. На тот момент ему, правда, не удалось придумать конкретный алгоритм, воплощающий этот принцип[1383].

5.2.3.3 Зигмунд Фрейд и его нейробиологические исследования

Как правило, первое, что приходит в голову неспециалисту при упоминании имени Зигмунда Фрейда, — это либидо, эго, сублимация, концепция зависти к пенису и другие сомнительные фрейдистские конструкты, научная ценность которых сегодня иногда вызывает серьёзные сомнения. Специалисты обычно обращают внимание на важный вклад Фрейда в дело становления научной психологии (например, на развитие концепции бессознательного). Но даже представители академической психологии не всегда в курсе того, что до того, как стать отцом-основателем психоанализа, Фрейд специализировался в области неврологии, занимался пионерскими нейробиологическими исследованиями, которые привлекли внимание Сантьяго Рамона-и-Кахаля и повлияли на становление нейробиологии как дисциплины. Более-менее полным собранием идей Фрейда в этой области является эссе, известное сегодня под названием «Проект научной психологии» (Project for a Scientific Psychology) или «Пролог к научной психологии» (Prologue to a Scientific Psychology). Разночтения в названии работы в данном случае вполне объяснимы: в немецком издании оно названо «Наброски психологии» (Entwurf einer Psychologie), однако название это было выбрано редакторами, оригинальная работа Фрейда оставлена без заголовка[1384].

Зигмунд Фрейд родился в 1856 г. в семье галицких евреев-хасидов Австро-Венгрии в городке Моравский Фрайберг (Freiberg in Mähren, сейчас город называется Пршибор, чеш. Příbor)[1385], расположенном неподалёку от подножия Моравско-Силезских Бескидов. Название это, в общем-то, более соответствовало историческому Vriburch — именно под таким именем город впервые упомянут в письменном источнике 1251 г.

Зигмунд был старшим из восьми детей, родившихся в браке небогатого торговца тканью Якоба Фрейда и его третьей жены Амалии. Мать Фрейда была родом из Бродов (Броды — город в Галичине, ныне Львовская область Украины) и часть своего детства провела в Одессе[1386]. Второй из детей Якоба и Амалии умер во младенчестве, а семеро, включая Зигмунда, дожили до весьма преклонных лет. Три сестры Фрейда закончили свою жизнь в концлагере Треблинка[1387].

У Якоба также было двое детей от первого брака, старший из которых сам стал отцом ещё за год до рождения Зигмунда. Таким образом, Фрейд от рождения был дядей, а его племянник стал его старшим другом в детских играх. При рождении мальчик не был, разумеется, ни Зигмундом, ни Фрейдом, поскольку фамилия его по звучанию скорее должна записываться на русском языке как Фройд, а именем, данным ему при рождении, было Сигизмунд Шломо (Шломо — в честь деда Зигмунда по отцовской линии).

Спустя четыре года после рождения мальчика семья Фрейда, находившаяся на грани разорения, была вынуждена покинуть Фрайберг. При этом дети Якоба от первого брака перебрались в Манчестер, а сам Якоб с женой и двумя детьми отправился сначала в Лейпциг, а затем — в Вену. Здесь Зигмунд окончил с отличием гимназию и в 17 лет поступил в Венский университет. Изначально Фрейд планировал изучать право, однако в итоге остановил выбор на медицинском факультете[1388]. На втором году обучения Зигмунд начал свои первые научные исследования, объектом которых стали половые органы угря. Эта работа, осуществлявшаяся под руководством знаменитого профессора-эволюциониста