утверждением электронщиков из Томска трудно поспорить — открытие Уильямса и его коллег поразило воображение «до самых корней».

Выход статьи в Nature спровоцировал быстрый рост интереса к данной области, и вскоре появилось множество альтернативных схем реализации мемристора. Более того, выяснилось, что некоторые из них были предложены до публикации исследователями HP своих результатов.

Рост интереса к мемристивным устройствам спровоцировал увеличение интереса к нейроморфной инженерии. Действительно, появление недорогих и компактных мемристоров могло бы серьёзно упростить сборку технических аналогов нейронов и сделать их более эффективными. Разработка подобных технологий активно ведётся в наши дни. Например, в 2018 г. одна из трёх компаний, составивших ядро программы SyNAPSE, а именно HRL, сообщила о создании искусственного нейрона, в основе которого лежат мемристоры на базе диоксида ванадия. Нейроны от HRL успешно симулируют работу известных типов биологических нейронов, что делает их одним из перспективных строительных блоков нейроморфных систем[1673].

Программа SyNAPSE произвела на свет много интересных проектов, здесь мы ограничимся упоминанием двух из них. В 2010 г. свет увидел анимат MoNETA (MOdular Neural Exploring Traveling Agent, Модулярный нейронный исследующий путешествующий агент). Аниматами называют искусственные поведенческие модели животных, предназначенные для изучения интеллекта на примитивном уровне[1674]. Фактически аниматы — это автоматизированные агенты, действующие в виртуальном или реальном мире, своеобразные искусственные животные.

Взаимодействуя с реальным миром, анимат MoNETA учится принимать решения, направленные на увеличение вознаграждения и уклонение от опасностей. Программный «мозг» анимата создан при помощи фреймворка Cog Ex Machina (Cog), разработанного HP совместно с Бостонским университетом, и предназначен для запуска на разрабатываемых HP нейроморфных чипах на основе мемристоров[1675], [1676].

В ноябре 2020 г. в журнале Nature Nanotechnology была опубликована статья[1677], сообщившая о создании инженерами Техасского университета в Остине (University of Texas at Austin, UT) самого маленького на текущий момент мемристора. В качестве основного материала в этом устройстве используется дисульфид молибдена. Не исключено, что в ближайшие годы именно этот тип мемристоров станет базовым строительным элементом новых нейроморфных устройств.

5.3.10 Нейроморфные системы типа II сегодня

В 2014 г. IBM представила нейроморфный процессор TrueNorth, хотя и созданный без применения мемристоров, но обладающий весьма впечатляющими характеристиками.

Микросхема TrueNorth содержит 4096 вычислительных (так называемых нейросинаптических) ядер, каждое из которых обеспечивает работу 256 искусственных нейронов, что в сумме даёт чуть более миллиона нейронов. В свою очередь, каждый нейрон обладает 256 конфигурируемыми «синапсами»; таким образом, общее количество программируемых синапсов составляет чуть более 268 млн. Потребляемая мощность этого устройства, состоящего из 5,4 млрд транзисторов, составляет всего 70 милливатт[1678].

Несмотря на столь впечатляющие показатели, создание TrueNorth стало лишь промежуточным этапом проекта. Для достижения ещё более высокой энергоэффективности было бы предпочтительно заменить цифровые синаптические веса, хранимые TrueNorth в массивах статической памяти с произвольным доступом (static random access memory, SRAM), на аналоговые устройства, способные обеспечить более высокую плотность записи за счёт представления синаптических весов в виде электрического сопротивления отдельных элементов.

Главной проблемой для инженеров из IBM было то, что к моменту начала работы над проектом не было убедительно доказано, что аналоговый подход может обеспечить ту же точность при решении задач, что и существующее программное обеспечение на обычном цифровом оборудовании. Эксперименты с обучением глубоких нейронных сетей на основе аналоговой памяти показывали более низкую точность классификации, связанную с несовершенством существовавших на тот момент аналоговых устройств.

Уже к 2018 г. исследователи успели перепробовать множество удивительных мемристивных устройств, основанных на самых разных принципах, таких, например, как резистивная оперативная память (Resistive random-access memory, ReRAM или RRAM)[1679], [1680], [1681], [1682] различных типов, оперативная память с проводящим мостом (Conductive-bridging random-access memory, CBRAM)[1683], ENOD (Electrochemical neuromorphic organic device, электрохимическое нейроморфное органическое устройство)[1684], LISTA (lithium-ion synaptic transistor for analogue computing, литий-ионный синаптический транзистор для аналоговых вычислений)[1685], [1686].

В марте 2021 г. учёные из Калифорнийского университета в Сан-Диего представили общественности «моттовский активационный нейрон» (Mott activation neuron) — наноустройство, реализующее кусочно-линейную функцию активации ReLU (о ней мы поговорим позже), являющуюся элементом многих современных нейронных сетей. В основе данного элемента лежит эффект, называемый «переходом Мотта» — в честь открывшего его английского физика Невилла Мотта, лауреата Нобелевской премии по физике 1977 г. Устройство нового элемента весьма изящно: над нанометровым слоем диоксида ванадия расположен нагреватель на основе нанопроволоки из титана и золота. Когда ток течёт через нанопроволоку, слой диоксида ванадия медленно нагревается, что, ввиду вышеуказанного эффекта, приводит к его постепенному превращению из изолирующего в проводящий[1687].

Впрочем, между прототипом мемристивного элемента и полноценным процессором на его основе лежит довольно долгий путь, полный различных инженерных трудностей. Например, необходимо научиться создавать не просто единичные элементы, а полноценные массивы таких элементов. Для того чтобы процессор на основе мемристивных элементов мог конкурировать с традиционными интегральными микросхемами, он должен управляться очень короткими и низкоэнергетическими импульсами — иначе устройство будет слишком медленным и будет выделять слишком много тепла. Успеха удалось добиться за счёт создания устройства, сочетающего в себе энергонезависимую память на базе технологии PCM (Phase-change memory, Память с изменением фазового состояния) с классической энергозависимой памятью на основе CMOS для хранения синаптических весов. При этом PCM применялось для осуществления аналоговых операций умножения и накопления, используемых для коррекции весов в методе обратного распространения ошибки. Эксплуатируя это чудо современной технологии, специалисты IBM смогли обучить глубокие нейронные сети решению задач классификации изображений на популярных датасетах (MNIST, зашумлённая версия MNIST, CIFAR-10, CIFAR-100). При этом обученные сети не уступали в точности аналогам, обученным при помощи тензорных процессоров, а потребление электроэнергии в процессе обучения оказалось почти в 300 раз меньше. Результаты исследования, опубликованные[1688] в Nature в 2018 г., продемонстрировали возможность создания нейроморфных устройств, способных превзойти тензорные процессоры при решении классических задач глубокого обучения.

В нейроморфную гонку включились и другие производители компьютерного оборудования. Компания Intel продемонстрировала опытный образец процессора Loihi, состоящего из 128 нейросинаптических ядер и трёх ядер Lakemont x86 (Quark). Каждое нейроморфное ядро, созданное на базе 14-нанометрового техпроцесса, обеспечивает работу 1024 искусственных нейронов — каждый с 1024 искусственными синапсами, что даёт в сумме более 130 000 нейронов и 130 млн синаптических связей. Правила обучения сети программируются при помощи системы микрокодов. Intel сообщает, что энергоэффективность Loihi при обучении нейронных сетей примерно в 1000 раз выше, чем при использовании обычных CPU[1689], [1690]