class="p1">Связи между отростками нейронов, заканчивающимися в различных слоях, воспроизводятся благодаря использованию модели пирамидальных нейронов, каждый из которых также условно разделён на два компартмента.

Пирамидальные, или пирамидные, нейроны — это самые многочисленные клетки в коре (присутствующие также и в некоторых других отделах головного мозга), начало исследованию которых положил ещё Рамон-и-Кахаль. Сома (клеточное тело) пирамидальных нейронов имеет коническую форму, из-за чего они и получили своё название. Со стороны основания конуса из клетки выдаётся длинный аксон, а также множество разветвлённых базальных дендритов. Вершина же конуса продолжается большим апикальным дендритом.

Для воспроизводства работы различных типов пирамидальных нейронов в Neurogrid предусмотрена возможность изменения типа электрического соединения между компартментами. Использование при моделировании взаимодействий нейронов лишь двух компартментов позволяет минимизировать количество различных популяций (типов) ионных каналов, которые необходимо симулировать, что позволяет максимизировать количество нейронов в модели. Общее число синапсов в симулируемых моделях может достигать 6 млрд, при этом суммарное энергопотребление системы в процессе работы составляет всего 5 ватт[1599], [1600].

В основе другой системы, BrainScaleS (NM-PM-1), разработанной в рамках Human Brain Project, находится 20 неразрезанных кремниевых пластин диаметром 200 мм, каждая из которых включает в себя 384 микросхемы со смешанным типом сигналов — так называемые микросхемы аналоговых нейронных сетей с большим количеством входов (High Input Count Analog Neural Network chip, HICANN). Эти микросхемы физически эмулируют работу сети импульсных нейронов с настраиваемыми синапсами. Единая пластина позволяет организовать широкополосную асинхронную инфраструктуру передачи сигналов. Пластина также соединена с 48 модулями связи на базе FPGA (т. е. каждый модуль соединён с восьмью микросхемами HICANN), обеспечивающими возможность подключения к другим модулям на основе таких же пластин [wafer modules], а также к центральной ЭВМ, используемой для настройки и управления системой. Каждая микросхема HICANN реализует как минимум 114 688 программируемых динамических синапсов и до 512 нейронов, что даёт в сумме около 44 млн синапсов и до 196 608 нейронов на один модуль пластины. Точное количество нейронов зависит от конфигурации системы, которая позволяет объединять несколько нейронных ячеек для увеличения количества входных синапсов в одной клетке.

В сумме система из 20 модулей позволяет симулировать сеть размером до почти 4 млн нейронов. Это немногим меньше, чем содержится в мозге рыбки гуппи, счастливой обладательницы примерно 4,3 млн нейронов. Несмотря на сравнительно скромный по меркам животного мира размер сети, эмулируемой BrainScaleS, машина обладает важным преимуществом: скорость её работы в 1000–10 000 раз выше, чем у биологических систем[1601], [1602], [1603].

В феврале 2017 г. группа учёных, занятых в Human Brain Project, представила работу, описывающую прогресс в области создания второй версии BrainScaleS. В экспериментальных микросхемах на смену 180-нанометровой технологии пришла более совершенная, 65‑нанометровая технология. Кроме того, большое внимание учёные уделяют реализации на аппаратном уровне алгоритмов обучения импульсных нейронных сетей[1604], [1605].

В настоящее время в рамках Human Brain Project на основе тесного сотрудничества специалистов по микроэлектронике с нейробиологами ведётся разработка следующего поколения микросхем для симуляции происходящих в мозге процессов. Эти микросхемы станут основой для следующего поколения больших машин, которые будут введены в эксплуатацию приблизительно в 2023 г.[1606] Новые машины позволят ещё больше увеличить масштаб симуляций и повысить скорость их выполнения.

5.3.6 Нейроморфные системы типа I. Исследования мозга и принцип STDP

Конечно, успехи, достигнутые в области обучения традиционных искусственных нейронных сетей при помощи метода обратного распространения ошибки, создают соблазн применить этот же метод при обучении импульсных сетей. Импульсная версия метода обратного распространения ошибки показала свою жизнеспособность — сегодня импульсные сети, обученные при помощи этого метода, лишь незначительно уступают в точности традиционным нейронным сетям.

Однако для достоверной симуляции мозга нужно использовать методы, аналогичные тому, что происходит собственно в мозге. Одна из проблем заключается в том, что современной науке неизвестны бесспорные физиологические аналоги метода обратного распространения ошибки. Если вам хочется позлить нейрофизиолога, заведите с ним дискуссию о методе обратного распространения ошибки в мозге, но хочу сразу предупредить, что за последствия этой авантюры я не несу никакой ответственности. Ввиду этого пришлось искать для обучения импульсных сетей методы, для которых всё-таки обнаруживаются аналоги в физиологии. В конечном счёте эта одиссея завершилась успехом, и сегодня таковые нам известны. Более того, выяснилось, что в ряде экспериментов они не слишком уступают методу обратного распространения ошибки[1607], а при правильно подобранных параметрах могут оказаться даже более эффективными.

В первую очередь речь идёт о процессе, получившем название «синаптическая пластичность, зависящая от времени импульса» (Spike-timing-dependent plasticity, STDP). Это биологический процесс, который регулирует силу связей между нейронами на основе относительной синхронизации входного и выходного потенциалов конкретного нейрона.

Сам термин «синаптическая пластичность» был введён польским психиатром и нейрофизиологом Ежи Конорским для обозначения долгосрочных изменений эффективности синаптических связей в результате кратковременных изменений синаптической активности. В настоящее время значение этого термина расширилось и теперь включает не только изменение эффективности, но также вырастание новых и активацию ранее неактивных синапсов[1608].

В чём же особенность такого механизма синаптической пластичности, как STDP?

Если импульсы, поступающие через некоторый входной синапс нейрона, имеют тенденцию возникать непосредственно перед срабатыванием нейрона, то этот конкретный синапс получает положительное подкрепление, усиливающее соответствующую связь. Если же входные импульсы имеют тенденцию возникать уже после срабатывания нейрона, то соответствующий входной синапс получает отрицательное подкрепление и соответствующая синаптическая связь ослабляется. Нетрудно заметить, что STDP является дальнейшим развитием идеи хеббовского обучения.

Уже полстолетия назад большинство нейробиологов считало утверждение о том, что синаптическая пластичность обеспечивает физиологическую основу для обучения и памяти, практически самоочевидным. Но, несмотря на почти всеобщее признание этой точки зрения, экспериментальных доказательств было найдено не так уж много. Одним из первых стала новаторская работа[1609] Эрика Кандела, опубликованная в 1965 г. В ней Канделу и его коллегам удалось продемонстрировать прямую связь между синаптической пластичностью и изменением поведения морского беспозвоночного Aplysia californica.

В 1973 г. канадский исследователь Морис Тейлор предположил, что если бы синапсы, для которых импульс предшествующего нейрона (пресинаптический) чаще происходил непосредственно перед импульсом следующего нейрона (постсинаптическим), усиливались (хеббовское обучение), а синапсы, для которых это условие не соблюдалось, — ослаблялись (антихеббовское обучение), то данный механизм позволил бы объяснить эффективное кодирование образов мозгом[1610]. Однако работа Тейлора, как и диссертация Вербоса, не была в то время замечена коннекционистским сообществом.

Процесс, соответствующий хеббовскому обучению в биологических и импульсных нейронных сетях, в наши дни