и безобидными. Например, модель может дать некорректную медицинскую рекомендацию, что может обернуться вредом для здоровья беспечного пользователя. Поэтому важно составить детальную структуру рискованных тем и покрыть каждый из выявленных таксонов достаточно представительным набором примеров выверенных ответов. Вообще для того, чтобы инструктивные данные были максимально качественными, нужно обеспечить их тщательную проверку, в том числе с привлечением экспертов по различным областям человеческих знаний.

3. Обучить модель-оценщик. Обычно это отдельная классификационная модель, которая умеет предсказывать, какой из вариантов, сгенерированных языковой моделью, больше понравится пользователю. Чтобы обучить эту модель, нужна соответствующая разметка.

4. Финальное выравнивание. Теперь нужно пропускать через модель результаты генерации и обновлять её веса при помощи алгоритма оптимизации на базе аппроксимации политики (PPO)[2676], [2677], [2678].

Примерно таким образом были обучены модели, лежащие в основе сервиса GigaChat, запущенного для ограниченной аудитории 24 апреля 2023 г. GigaChat чем-то похож на дирижёра большого оркестра, с той лишь разницей, что управляет он не музыкантами, а нейросетями. Основу нейросетевого ансамбля составляют модели ruGPT-3.5 (в более поздних версиях — ruGPT-4) и Kandinsky 2.1 (в более поздних версиях — Kandinsky 2.2 и Kandinsky 3.0). Функцию генератора ответа берёт на себя сеть ruGPT, при этом ответы могут содержать динамические блоки, необходимые для вызовов других нейросетей и алгоритмов (например, калькулятора). Набор моделей, входящих в ансамбль, получил название NeONKA (NEural Omnimodal Network with Knowledge-Awareness, Нейронная омнимодальная сеть, базирующаяся на знаниях). Это название отсылает к «Сказке о Тройке» братьев Стругацких и описанной там эвристической машине «для отвечания на все вопросы». Её ушлый изобретатель утверждал, что секрет машины именно в мистической «неонке», благодаря которой «ротор поля наподобие дивергенции градуирует себя вдоль спина и там, внутре, обращает материю вопроса в спиритуальные электрические вихри, из коих и возникает синекдоха отвечания…». Правда, для работы машины нужен был сам изобретатель, который собственноручно печатал ответы на печатной машинке. Современная же нейросетевая NeONKA позволяет одновременно вести сотни тысяч диалогов, не прибегая к помощи человека. Таким образом, научно-технический прогресс превзошёл сегодня даже самые смелые ожидания фантастов.

GigaChat способен решать множество интеллектуальных задач: он отвечает на вопросы, поддерживает диалог, пишет программный код, создаёт тексты на самые разные темы и в разном стиле и даже рисует картины.

GigаChat является совместной разработкой команд SberDevices и Sber AI, в его создании также принимали участие сотрудники Института искусственного интеллекта (AIRI, Artificial Intelligence Research Institute), отраслевые эксперты и специалисты компании Cloud, обеспечивавшие строительство и эксплуатацию суперкомпьютера «Кристофари Нео»[2679].

6.6.6 Фундаментальные модели и новые перспективы

Появление моделей, подобных BERT, GPT, T5 и так далее, заставило исследователей говорить о появлении нового класса моделей машинного обучения, получившего название «фундаментальные модели» [foundation models], и даже о смене парадигмы современного ИИ. В рамках Стэнфордского института человекоориентированного ИИ (Stanford Institute for Human-Centered Artificial Intelligence, HAI) был основан Центр исследования фундаментальных моделей (Center for Research on Foundation Models, CRFM), программное исследование которого, увидевшее свет в августе 2021 г., получило название «О возможностях и рисках фундаментальных моделей» (On the Opportunities and Risks of Foundation Models)[2680].

Прогресс в области создания фундаментальных моделей вселяет надежду на то, что именно это направление станет магистральной дорогой в создании универсального искусственного интеллекта. Появление ChatGPT стало впечатляющей демонстрацией возможностей современных технологий генеративного ИИ и заставило многих людей пересмотреть перспективы этого направления. Если раньше многие скептики полагали, что создание искусственной интеллектуальной системы, способной сравниться с разумом человека, — дело далёкого будущего, то сегодня многие из них уже не столь непреклонны в своём пессимизме. Однако, несмотря на новую волну энтузиазма, важно понимать, что, прежде чем современные фундаментальные модели смогут стать универсальным инструментом решения интеллектуальных задач, их создателям предстоит дать ответы на целый ряд вызовов и преодолеть ограничения существующих подходов. Давайте рассмотрим некоторые из них и порассуждаем о наиболее перспективных методах, призванных решить имеющиеся проблемы.

1. Обучение и даже выполнение больших сетей потребляет значительные вычислительные ресурсы. Для борьбы с этой проблемой создаются более совершенные аппаратные устройства, а также более эффективные схемы вычисления для трансформерных нейросетей. Например, алгоритм FlashAttention позволяет сократить время вычисления блока внимания на современных тензорных устройствах более чем вдвое[2681], а его новая версия FlashAttention-2 — и вовсе добиться более чем четырёхкратного ускорения[2682]. Ещё одним способом сокращения вычислительных затрат является так называемая квантизация — процесс создания приближённой версии нейронной сети за счёт кодирования её весов числами с меньшей разрядностью. Например, вместо 32-битных чисел мы можем использовать 8-битные (а иногда и числа с ещё меньшей разрядностью, вплоть до одного бита — в последнем случае квантизацию называют бинаризацией[2683]). Квантизация значительно снижает как требования к памяти, так и вычислительные затраты на выполнение (инференс) сетей. Второе достигается за счёт того, что современные процессоры имеют встроенные векторные и матричные операции в режимах пониженной точности. Конечно, такие фокусы не проходят бесследно — снижается точность работы сети. Однако современные подходы позволяют минимизировать эти потери или компенсировать их[2684], [2685]. Существует два основных подхода к квантизации нейронных сетей: квантизация после обучения (Post-Training Quantization, PTQ) и обучение с учётом квантизации (Quantization-Aware Training, QAT). PTQ преобразует веса и активации модели в числа с более низкой точностью после обучения, в то время как QAT включает квантизацию во время обучения. Квантизации может подвергаться как вся сеть, так и лишь отдельные её слои. Добавление отдельно обучаемых неквантизованных слоёв на выход квантизованной сети может компенсировать потери точности от квантизации. Комбинируя низкоранговую адаптацию (LoRA) с квантизацией, исследователи из Вашингтонского университета научились дообучать модель LLaMA с 65 млрд параметров всего на одном GPU с 48 Гб оперативной памяти[2686]. А преподаватель Корнеллского университета Александр Раш продемонстрировал, что благодаря различным оптимизациям квантизованная версия LLaMA 2 с 70 млрд параметров может генерировать текст, используя центральный процессор обычного ноутбука (правда, скорость генерации при этом составляет лишь около 5 токенов в минуту)[2687].

Также в сокращении затрат на обучение моделей могут помочь две интересные группы методов. Первая основана на идее постепенного увеличения размера модели по мере обучения. Сама идея не нова — её использовал Алексей Ивахненко в своём методе группового учёта аргументов (МГУА) ещё в начале 1970-х гг., к ней обращались Джеффри Хинтон и его коллеги в своих глубоких сетях доверия (DBN). В наши дни её опробовали[2688] создатели модели FLM-101B — благодаря постепенному увеличению