диодов[1581], а также лазеры поверхностного излучения с вертикальным резонатором[1582], [1583]. Раздел фотоники, использующий схемы на основе таких лазеров, называется «викселоникой» (от аббревиатуры VCSEL (Vertical-cavity surface-emitting laser, поверхностно излучающий лазер с вертикальным резонатором) и слова «фотоника»)[1584]. Также в современных оптических сетях линейные операции могут выполняться пространственными модуляторами света и линзами Фурье, а нелинейные функции оптической активации могут быть реализованы в атомах с лазерным охлаждением и электромагнитно индуцированной прозрачностью[1585]. В последние годы созданы весьма продвинутые рабочие прототипы систем компьютерного зрения на базе оптических нейронных сетей[1586], [1587].

Такая разновидность импульсных нейронных сетей, как импульсно связанные нейронные сети (Pulse-coupled neural networks, PCNN), была описана[1588] в 1994 г. Джоном Джонсоном — загадочным исследователем из американской армии. Джонсон, в свою очередь, основывался на более ранней модели Экхорна (модель связующего поля; linking-field model, LFM) и его коллег, имитировавшей, как обычно, работу зрительной коры кошки[1589], [1590].

Хотя большая часть импульсных устройств и моделей, разработанных в 1930–1990-е гг., представляет сегодня по большей мере лишь исторический интерес, эти пионерские работы позволили науке и технологиям шаг за шагом прийти к современным эффективным нейросетевым моделям и устройствам. Коннекционистская зима во многом переформатировала поле нейросетевых исследований, что в итоге привело к появлению нового поколения исследователей и нового набора идей, большинство из которых не были основаны на импульсной парадигме. Однако сегодня наблюдается заметный рост интереса к импульсным нейронным сетям.

По мере прогресса в области свёрточных нейронных сетей появились и их импульсные аналоги — импульсные свёрточные нейронные сети (spiking convolutional neural networks, SCNN)[1591]. В целом в наши дни между «классическими» и импульсными сетями наблюдается определённый параллелизм в части структуры синаптических связей: существуют не только импульсные аналоги свёрточных нейронных сетей, но и импульсная версия LSTM[1592], импульсные автоэнкодеры[1593], импульсные трансформеры[1594] и так далее.

Системы типа I обычно применяются в научных и медицинских проектах, направленных на изучение работы мозга и того, каким образом физиологические процессы, протекающие в нём, связаны с различными психическими явлениями. Учёные рассчитывают, что рано или поздно, используя адекватные модели и подходящее оборудование, мы сможем в реальном времени симулировать работу мозга и добиться появления в ходе такой симуляции соответствующих психических феноменов.

5.3.5 Нейроморфные системы типа I. Начало

27 октября 2005 г. Евгений Ижикевич выполнил на цифровой машине симуляцию работы импульсной нейронной сети, по размерам превосходящей среднестатистический человеческий мозг. Модель состояла из 100 млрд нейронов и около квадриллиона синапсов. В процессе работы модели возникли альфа- и гамма-ритмы, а также другие интересные явления. Одна секунда симуляции потребовала около 50 дней расчётов на 27-процессорном кластере Beowulf[1595], [1596].

Более масштабная симуляция была осуществлена только в конце 2012 г. Общественность узнала о ней из записи в блоге американского исследователя индийского происхождения Дхармендры Модхи. В ней учёный сообщил, что, используя 96 стоек Blue Gene/Q суперкомпьютера Sequoia Ливерморской национальной лаборатории им. Э. Лоуренса (Lawrence Livermore National Laboratory, LLNL) (1 572 864 процессорных ядра, 1,5 Пб памяти, 98 304 процесса), работавшие в 6 291 456 потоков, удалось достичь беспрецедентного масштаба симуляции 530 млрд нейронов и 137 триллионов синапсов, работающих всего в 1542 раза медленнее, чем в реальном времени. При этом важно понимать, что модель нейрона, использованная исследователями, была крайне упрощённой — сама симуляция осуществлялась в рамках проекта по созданию системы TrueNorth, подробнее о которой мы поговорим в этой главе позже[1597].

Хотя эти результаты и стали рекордными, было ясно, что серьёзные эксперименты, направленные на изучение высших нервных функций, при таких скоростях симуляции вряд ли возможны. Диванные эксперты нередко высказывают суждение о том, что учёные не знают, каким образом работает человеческий мозг. Конечно, это суждение очень наивно. Учёные неплохо знают детали физиологических процессов, протекающих в мозге. Однако сложнее дело обстоит с тем, чтобы объяснить, каким именно образом эти процессы связаны с наблюдаемыми нами психическими феноменами и поведением обладателей мозга. Как устроена память? Как человек или животные распознают или воссоздают образы? Как устроен процесс обучения? Откуда берётся самосознание? И хотя эти вопросы и представляют в ряде случаев затруднения для современных исследователей, проблема заключается вовсе не в том, что у учёных недостаточно объяснений. Скорее в том, что этих объяснений в настоящее время предложено слишком много, и в силу этого они нередко носят спекулятивный характер. Чтобы отсеять неудачные гипотезы, наука нуждается в экспериментальных данных, и важным их источником могут стать вычислительные эксперименты. Для того чтобы создать оборудование, подходящее для подобных задач, необходимо решить проблему пресловутого «бутылочного горлышка фон Неймана» (барьера в скорости вычислений, возникающего из-за задержек в передаче данных через шину). Именно для этого и создаются нейроморфные машины типа I.

В конце 2009 г. лаборатория Brains in Silicon [дословно: мозги в кремнии] Стэнфордского университета под руководством профессора биоинженерии и электротехники Квабены Боаэна представила первую версию машины, получившей название Stanford Neurogrid. Научным руководителем Боаэна во время его работы над диссертацией в Caltech во второй половине 1990-х гг. был уже знакомый нам Карвер Мид, которого считают одним из отцов-основателей современной нейроморфной инженерии. На создание Neurogrid Боаэна и его коллег вдохновил успех проекта по созданию сравнительно недорогого (стоимостью около 60 000 долларов) суперкомпьютера GRAPE-6, предназначенного для решения астрофизических задач, благодаря которому были получены новые важные результаты в области астрофизики[1598].

Neurogrid использует аналоговые схемы для имитации работы ионных каналов и цифровой обмен данными между программируемыми синаптическими соединениями. Система состоит из шестнадцати «нейросинаптических ядер», каждое из которых представляет собой отдельную интегральную микросхему размером 11,9 × 13,9 мм. Каждое ядро способно эмулировать работу 65 536 нейронов, что в сумме даёт более миллиона нейронов для системы в сборке.

Нейросинаптические ядра объединены в двоичное дерево при помощи каналов с пропускной способностью 80 Мбит/с. Встроенная память нейросинаптических ядер и внешняя оперативная память дочерней платы используются соответственно для программного конфигурирования вертикальных и горизонтальных кортикальных соединений.

Каждый из искусственных нейронов Neurogrid эмулирует работу биологического нейрона, который в расчётной модели разделяется на две условные части — так называемые «субклеточные компартменты». Один компартмент включает в себя сому (тело клетки) и её окрестности (так называемую базальную зону), второй — апикальный дендрит. Термины «базальный» (от лат. basis — основа) и «апикальный» (от лат. apex — вершина) используются в науке для обозначения частей, составляющих основу чего-либо (в данном случае — клетки), и соответственно частей, удалённых от основы.