и ADALINE служила заменой условия срабатывания нейрона в сетях Мак-Каллока и Питтса. Нейрон Мак-Каллока и Питтса активируется в случае, если число возбуждающих сигналов превышает некоторое пороговое значение (при отсутствии тормозящих сигналов). Единственным важным отличием сетей Розенблатта и Уидроу стал факт появления синаптических весов (или коэффициентов), на которые умножался сигнал при прохождении через соответствующее соединение нейронов. Таким образом, сигналы в сетях Розенблатта и Уидроу перестали быть аналогами логических суждений «истина» или «ложь» и стали численными значениями.

Как перцептрон Розенблатта, так и ADALINE обучались при помощи сходных алгоритмов, сегодня известных под названием «метод коррекции ошибки». Подробнее этот подход мы рассмотрим позже, когда будем говорить о теореме о сходимости перцептрона. Отметим лишь, что, в отличие от перцептрона Розенблатта, в ADALINE для вычисления величины ошибки использовалось значение сигнала до прохождения его через функцию активации. Многослойная версия ADALINE вполне ожидаемо получила название MADALINE.

Группы Розенблатта и Уидроу были не единственными командами учёных, кто занимался созданием коннекционистских моделей в те годы. В конце 1950-х — начале 1960‑х гг. над созданием модели, похожей на перцептрон и ADALINE, работал немецкий информатик Карл Штейнбух (собственно, он и придумал немецкий термин Informatik — информатика, который затем перекочевал в русский язык, благодаря чему сегодня мы можем обойтись одним словом «информатика» вместо двух английских computer science). Алгоритм, созданный Штейнбухом, получил название Lernmatrix — матрица обучения. В конце 1968 г. в Технологическом институте Карлсруэ под руководством Штейнбуха на основе Lernmatrix был создан первый европейский нейрокомпьютер.

Система состояла из двух модулей. Модуль ввода был «глазами» устройства и представлял собой набор фотоэлементов. Сигналы, полученные фотоэлементами, обрабатывались при помощи обучаемой матрицы на базе реле. В своих экспериментах Штейнбух продемонстрировал, что система была способна распознавать изображения пяти гласных букв[1236], [1237].

Рис. 94. Нейрокомпьютер Lernmatrix. В левой части происходит сканирование изображения

при помощи матрицы из двадцати фотоэлементов, в среднем блоке идёт обработка,

справа расположен блок акустического вывода

Перцептрон Розенблатта был устроен похожим образом. Входные данные поступали в него при помощи модуля ввода, в котором входное изображение подсвечивалось мощным источником света и проецировалось на матрицу размером 20 × 20 фотоэлементов на основе сульфида кадмия. Перцептрон также имел коммутационную панель, которая позволяла формировать конфигурацию возбуждающих и тормозящих синаптических связей[1238].

Первые нейрокомпьютеры были способны решать несложные задачи по распознаванию образов, успешно не только определяя геометрические фигуры и символы, но и, например, отличая фотографии женщин от фотографий мужчин.

К сожалению, в большинстве случаев до нас не дошли ни наборы данных, на которых производилось тестирование этих устройств, ни полученные значения метрик точности распознавания, однако, основываясь на общих представлениях о возможностях столь небольших по современным меркам моделей, можно предположить, что результаты были довольно скромными. В сборнике Naval Research Reviews за 1960 г. говорится, что при распознавании символов перцептрон Розенблатта правильно распознавал буквы в 85% случаев[1239].

Рис. 95. Перцептрон Розенблатта. Провода — синапсы, соединяющие А- и S-слои

4.4.7 Нейросетевые исследования 1960-х годов

Успехи Розенблатта привели к возникновению проектов, направленных на улучшение достигнутых им результатов. В Стэнфордском исследовательском институте (Stanford Research Institute, SRI) в Менло-парке (штат Калифорния) Чарльз Розен возглавил лабораторию, которая пыталась вытравить микроскопические вакуумные трубки на твердотельной подложке. Розен предположил, что схемы, основанные на таких трубках, могут воплощать принципы, изучаемые Розенблаттом, поэтому институт нанял его в качестве консультанта. В 1960 г. команда из лаборатории Розена под руководством учёного с говорящей фамилией, Альфреда Брейна[1240], почти завершила сборку небольшой нейронной сети под названием MINOS[1241]. Брейн понимал, что компьютерное моделирование нейронных сетей было слишком медленным для практического применения, поэтому принял решение о создании специализированного вычислительного устройства. Элементной базой MINOS стали разработанные Брейном магнитные устройства, позволяющие изменять веса связей нейронной сети.

Розенблатт заинтересовался возможностью замены громоздких потенциометров с электромоторами на магнитные устройства Брейна, поэтому охотно подключился к проекту SRI.

В 1961 г. команда Брейна начала работу над созданием нового большого нейросетевого устройства под названием MINOS II. В том же году Нильс Нильссон по приглашению Розена присоединился к Группе по самообучающимся машинам (Learning Machines Group), а затем возглавил её.

С 1958 по 1967 г. работу над системами MINOS финансировал в первую очередь Корпус войск связи Армии США. Целью проекта было «произвести научное исследование и экспериментальное изучение методов и характеристик оборудования, пригодного для практического применения в целях графической обработки данных для военных нужд». Основным направлением проекта было автоматическое распознавание символов на военных картах. Также были предприняты попытки применения разработанных устройств для других задач, таких как распознавание военных транспортных средств (например, танков) на аэрофотоснимках и распознавание рукописного текста.

На первом этапе обработки в MINOS II входное изображение дублировалось сто раз с помощью матрицы пластиковых линз размером 10 × 10. Каждая из копий изображения пропускалась через собственную оптическую маску (пластинку, состоящую из прозрачных и непрозрачных областей) для обнаружения различных признаков, а затем свет, прошедший через маску, регистрировался фотоэлементом и сравнивался с пороговым значением. Результатом был набор из ста двоичных значений. Эти значения были входными данными для ассоциативного слоя, представлявшего собой набор из 63 искусственных нейронов[1242].

Рис. 96. Схема обработки изображений в MINOS II

Рис. 97. Варианты оптических масок в MINOS II

Каждому из ста входных значений соответствовал один из ста переменных магнитных весов; 63 двоичных выхода из этих нейронов затем использовались для принятия решения о принадлежности изображения к одной из категорий. В зависимости от решаемой задачи это делалось разными способами. Например, при распознавании условных обозначений на картах нейроны организовывались в девять «комитетов» по семь нейронов, при этом каждый «комитет» соответствовал одному из девяти распознаваемых классов символов[1243]. При использовании набора из 64 классов в 63-мерном пространстве, каждое из измерений в котором соответствовало ответу одного из нейронов, располагались 64 равноудалённые друг от друга точки, а нейронная сеть обучалась таким образом, чтобы точка, соответствующая её выходным значениям, была расположена ближе к точке, соответствующей верному классу, чем к точкам, соответствующим другим классам.

В принципе, наличие 63 нейронов позволяло довести число распознаваемых категорий до 263. Однако, поскольку на практике число категорий было значительно меньше, создатели MINOS разработали целую теорию[1244], позволяющую оптимальным образом комбинировать ответы