Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

5. MoE: эксперты, роутинг и выгрузка в ОЗУ

Зачем эта глава. MoE (mixture of experts) — причина, по которой модель на 35 млрд параметров может работать быстрее, чем плотная 13B, и при этом занимать память как 35B. Это же — главный механизм, позволяющий запускать большие модели на домашней видеокарте.

За 30 секунд

  • В MoE вместо одного большого FFN — много маленьких «экспертов», и роутер выбирает для каждого токена лишь несколько.
  • Память определяется всеми параметрами, скорость — только активными: 35B-A3B хранится как 35B, а генерирует почти как 3B.
  • Экспертов можно выгрузить в ОЗУ и считать на CPU: по PCIe тогда ходят только активации.
  • Батчинг и спекулятивное декодирование расширяют набор активных экспертов и съедают часть выигрыша.

5.1 Идея: не все веса нужны каждому токену

В плотной модели каждый токен проходит через все веса FFN. В MoE FFN заменён на набор экспертов — небольших независимых FFN — и роутер (router), который для каждого токена выбирает несколько экспертов.

flowchart LR
    X["вектор токена<br/>после attention"] --> R{"Роутер:<br/>логиты по экспертам,<br/>выбор top-k"}
    R -->|"вес 0,6"| E3["Эксперт 3"]
    R -->|"вес 0,4"| E7["Эксперт 7"]
    R -.-x|"не выбран"| E1["Эксперт 1"]
    R -.-x|"не выбран"| EN["…эксперт N"]
    X --> S["Общий эксперт<br/>(shared, если есть)"]
    E3 --> SUM(("Σ"))
    E7 --> SUM
    S --> SUM
    SUM --> Y["выход слоя"]

На схеме top-k = 2: работают только эксперты 3 и 7 (плюс общий, если он есть в архитектуре), их выходы складываются с весами роутера. Остальные эксперты для этого токена не читаются из памяти и не считаются.

Остальные эксперты для этого токена не вычисляются. Отсюда два разных числа:

  • всего параметров — сколько нужно хранить в памяти;
  • активных параметров — сколько читается и считается на один токен.

Модель с обозначением 35B-A3B имеет около 35 млрд параметров всего и около 3 млрд активных на токен. По скорости она ближе к плотной 3B, по «знаниям» — к 35B.

5.2 Как устроен роутер

Для каждого токена роутер выдаёт логиты по числу экспертов, затем:

  1. выбирает top-k экспертов (обычно 2, 4 или 8);
  2. нормирует их веса через softmax;
  3. смешивает выходы выбранных экспертов.

В современных моделях часто есть shared experts — эксперты, которые работают для всех токенов и не выбираются роутером. Они берут на себя общие знания, а маршрутизируемые эксперты специализируются.

Проблема обучения — балансировка нагрузки: без специального лосса роутер может «полюбить» несколько экспертов, а остальные будут простаивать. Поэтому в обучении добавляют auxiliary loss или используют bias-коррекцию. Для инференса важно, что распределение экспертов по токенам неравномерно: какие-то эксперты «горячие», какие-то почти не используются.

5.3 Сколько весит эксперт

Числа в этом разделе вымышлены для арифметики. Реальные конфиги отличаются: например, у моделей класса 30B-A3B бывает 48 слоёв и 128 экспертов, а 256 экспертов — примета гораздо более крупных MoE. Возьмём для примера 35B-модель, 40 слоёв, 256 экспертов в слое, 8 активных плюс общий. Грубая раскладка:

  • attention, эмбеддинги и общие части — несколько миллиардов параметров;
  • маршрутизируемые эксперты — основная масса, например ~30 млрд;
  • на слой приходится 30 / 40 ≈ 0,75 млрд параметров экспертов;
  • на одного эксперта — 0,75 / 256 ≈ 3 млн параметров.

В Q4_K_M (около 4,8 бита) слой экспертов весит примерно 0,75 × 0,6 ≈ 0,45 ГБ. Это удобная единица для тюнинга: выгружая экспертов одного слоя в ОЗУ, вы освобождаете около 0,4–0,5 ГБ VRAM.

5.4 Почему MoE выгоден для локального инференса

Сравним две гипотетические модели (пример):

Плотная 13BMoE 35B-A3B
Вес в Q4_K_M~7,9 ГБ~21 ГБ
Активных параметров13B~3B
Читается на токен~7,9 ГБ~1,8 ГБ
Потолок декода при 500 ГБ/с~63 ток/с~280 ток/с

Плотная модель читает все 13B на каждый токен. MoE читает только активных экспертов, поэтому может быть в разы быстрее при большем объёме «знаний». Плата — память: все эксперты должны где-то лежать, даже если не используются.

Именно это делает возможной схему «горячее на GPU, холодное в ОЗУ»: на токен нужна малая часть экспертов, и не все они обязаны быть в видеопамяти.

5.5 Выгрузка экспертов в ОЗУ

В llama.cpp есть несколько флагов:

ФлагЧто делает
--n-cpu-moe N (-ncmoe)экспертные FFN первых N слоёв оставить на CPU
--cpu-moeвсе эксперты на CPU
--moe-cache-mib Nкэш «горячих» экспертов в VRAM для тех, что остались на CPU
-ot "\.ffn_.*_exps\.weight=CPU"точечная выгрузка экспертов по шаблону тензоров (имена зависят от архитектуры — проверьте в своей модели)

Семантика --n-cpu-moe в разных версиях и гайдах может отличаться («первые N» или «с конца»), поэтому её надо проверять эмпирически на своей сборке.

Схема работы:

  • attention, роутер, shared experts и эмбеддинги остаются на GPU;
  • выбранные слои экспертов лежат в ОЗУ и считаются на CPU;
  • по PCIe передаются только активации — маленькие векторы, а не матрицы весов.

Это принципиально лучше, чем «держать веса в ОЗУ и перегонять их на GPU»: передача 0,45 ГБ на слой по PCIe была бы катастрофой, а вычисление на CPU идёт на скорости ОЗУ.

Warning

Флаги выгрузки в llama.cpp развиваются быстро, а имена тензоров экспертов зависят от архитектуры. Перед тюнингом сверяйтесь с --help своей сборки и списком тензоров модели, а не с чужой командой из форума.

5.6 Арифметика выгрузки

Пусть модель читает на токен 3B активных параметров в Q4_K_M — около 1,8 ГБ. Половина экспертов выгружена.

VRAM:  0,9 ГБ / 500 ГБ/с = 1,8 мс
ОЗУ:   0,9 ГБ / 50 ГБ/с  = 18 мс
итого: ~20 мс → потолок ~50 ток/с

Если выгрузить 70% экспертов:

0,54 / 500 + 1,26 / 50 ≈ 1,1 + 25,2 = 26 мс → ~38 ток/с

Это объясняет, почему выгрузка «ещё пары слоёв» может стоить заметной скорости, а не копеек. И почему для MoE выгодно держать в VRAM как можно больше экспертов — но не ценой выхода за объём карты, иначе включится тихий fallback (глава 3).

Посчитай сам. MoE-модель [пример]: 100B параметров всего, из них 90B — маршрутизируемые эксперты в 60 слоях, остальные 10B — attention, эмбеддинги и общие части. Квант Q4_K_M (0,6 байта на параметр), карта 24 ГБ, KV-кэш и буферы — 2 ГБ, запас — 2 ГБ. Сколько слоёв экспертов поместится в VRAM и какое значение --n-cpu-moe взять для начала?

Решение
общие части на GPU:  10 млрд × 0,6 = 6 ГБ
один слой экспертов: 90 млрд / 60 × 0,6 = 0,9 ГБ
бюджет на экспертов: 24 − 6 − 2 − 2 = 14 ГБ
слоёв в VRAM:        14 / 0,9 ≈ 15

В VRAM помещается около 15 слоёв экспертов из 60, значит начинать стоит с --n-cpu-moe 45 и дальше подбирать по пику VRAM (§5.10). Семантику «какие именно N слоёв» проверьте в своей сборке.

5.7 Кэш горячих экспертов

Если одни эксперты используются часто, их можно держать в VRAM даже при выгрузке остальных. --moe-cache-mib N выделяет под это N мегабайт.

Помогает, когда:

  • распределение экспертов стабильно;
  • активный набор маленький;
  • кэш достаточно велик, чтобы накрыть горячую часть.

Не помогает или вредит, когда:

  • на каждом шаге активируется много разных экспертов (например, при спекулятивном декодировании, где за один шаг проверяется несколько токенов);
  • кэш отнимает VRAM у основной модели;
  • распределение зависит от домена и меняется.

Это один из флагов, которые надо проверять на реальном трафике, а не на синтетике. Отдельно про то, почему спекулятивное декодирование может сломать кэш, — в главе 9, §9.7.

5.8 MoE и батчинг

Чем больше токенов в батче, тем больше разных экспертов активируется, и при достаточно большом батче в работу вовлекается почти весь слой. Из-за этого prefill большим батчем у MoE может быть менее выгодным, чем у плотной модели, а параллельные слоты увеличивают нагрузку на экспертов. Подробнее про батчинг и PagedAttention — в главе 8.

5.9 Качество и риски

MoE — не бесплатный обмен «память на скорость». Есть нюансы:

  • Специализация экспертов может быть неравномерной; на редком домене модель проваливается сильнее, чем плотная.
  • Квантование затрагивает всех экспертов; редкие эксперты могут пострадать заметнее.
  • Выгрузка добавляет задержку и делает поведение менее предсказуемым.
  • Память нужна под всех экспертов, даже «холодных».

Поэтому MoE-модель стоит проверять на своих задачах так же, как любую другую, а не только по заявленным бенчмаркам.

5.10 Практический порядок настройки

  1. Запустите модель с -ngl на все слои и без выгрузки экспертов — если помещается. (-ngl N — сколько слоёв держать на GPU.)
  2. Если не помещается, увеличивайте --n-cpu-moe по одному слою, пока пик VRAM не опустится до «объём карты минус 1,5–2 ГБ» (правило запаса — в главе 3).
  3. Проверьте скорость на реальной задаче, а не только на пустом промпте.
  4. Если есть запас VRAM, попробуйте --moe-cache-mib и сравните на своём трафике.
  5. Уменьшайте выгрузку, пока хватает памяти: каждый слой в VRAM обычно ускоряет декод.
  6. Не включайте одновременно спекулятивное декодирование и большой кэш экспертов, не измерив эффект: рабочий набор экспертов растёт.

Ключевые идеи

  • MoE хранит всех экспертов, но на токен активирует нескольких.
  • Скорость определяется активными параметрами, память — всеми.
  • Выгрузка экспертов в ОЗУ работает, потому что по PCIe идут активации, а вычисления — на CPU.
  • Единица тюнинга — один слой экспертов: параметры экспертов ÷ число слоёв × байт на вес (в примере главы — около 0,45 ГБ).
  • Батчинг и спекуляция увеличивают рабочий набор экспертов и снижают выгоду разреженности.

Проверь себя

  1. Чем «35B-A3B» отличается от плотной 3B-модели?
  2. Почему выгрузка экспертов в ОЗУ не убивает скорость так, как выгрузка плотной модели?
  3. Модель активирует 3B параметров в Q4_K_M, из них 40% выгружено в ОЗУ. Оцените потолок декода при 600 ГБ/с VRAM и 60 ГБ/с ОЗУ.
  4. Почему --moe-cache-mib может перестать помогать при спекулятивном декодировании?
  5. Что произойдёт с преимуществом MoE при батче в тысячи токенов?

Ответы

  1. Плотная 3B читает все 3B параметров на токен и хранит только их. MoE 35B-A3B хранит 35B, но читает около 3B активных; знаний больше, памяти тоже больше, скорость сопоставима.
  2. Плотную модель нельзя «посчитать на CPU» так же выгодно: на токен нужны все веса, и если они в ОЗУ, чтение упирается в 40–100 ГБ/с. У MoE в ОЗУ лежит только часть, и на токен читается малая доля. Плюс по PCIe не гоняются матрицы.
  3. Активные 3B в Q4_K_M — около 1,8 ГБ. 60% в VRAM: 1,08 / 600 ≈ 1,8 мс; 40% в ОЗУ: 0,72 / 60 = 12 мс; итого ~14 мс, потолок ~70 ток/с.
  4. За один шаг верификации проверяется несколько токенов, и они могут активировать больше разных экспертов. Рабочий набор растёт, фиксированный кэш перестаёт в него попадать.
  5. При большом батче активируется много разных экспертов, и за один проход в работу вовлекается почти весь слой. Преимущество разреженности уменьшается, а стоимость памяти остаётся.

Источники главы

  • Fedus, Zoph, Shazeer, «Switch Transformers» (2021) — arXiv:2101.03961. Простейший MoE с top-1 роутингом и проблемы балансировки.
  • Jiang et al., «Mixtral of Experts» (2024) — arXiv:2401.04088. Популярная MoE-модель и её поведение.
  • Dai et al., «DeepSeekMoE» (2024) — arXiv:2401.06066. Fine-grained эксперты и shared experts.
  • Hugging Face, «Mixture of Experts Explained» — блог. Доступное введение с картинками.
  • llama.cpp, tools/server/README.md — GitHub. Флаги --n-cpu-moe, --cpu-moe, --moe-cache-mib.
  • Hugging Face, «Performant local mixture-of-experts CPU inference with GPU acceleration in llama.cpp» — блог. Практическая схема выгрузки экспертов.
  • DeepSeek-AI, «DeepSeek-V3 Technical Report» (2024) — arXiv:2412.19437. Пример большой MoE с shared experts и MTP.