5. MoE: эксперты, роутинг и выгрузка в ОЗУ
Зачем эта глава. MoE (mixture of experts) — причина, по которой модель на 35 млрд параметров может работать быстрее, чем плотная 13B, и при этом занимать память как 35B. Это же — главный механизм, позволяющий запускать большие модели на домашней видеокарте.
За 30 секунд
- В MoE вместо одного большого FFN — много маленьких «экспертов», и роутер выбирает для каждого токена лишь несколько.
- Память определяется всеми параметрами, скорость — только активными:
35B-A3Bхранится как 35B, а генерирует почти как 3B.- Экспертов можно выгрузить в ОЗУ и считать на CPU: по PCIe тогда ходят только активации.
- Батчинг и спекулятивное декодирование расширяют набор активных экспертов и съедают часть выигрыша.
5.1 Идея: не все веса нужны каждому токену
В плотной модели каждый токен проходит через все веса FFN. В MoE FFN заменён на набор экспертов — небольших независимых FFN — и роутер (router), который для каждого токена выбирает несколько экспертов.
flowchart LR
X["вектор токена<br/>после attention"] --> R{"Роутер:<br/>логиты по экспертам,<br/>выбор top-k"}
R -->|"вес 0,6"| E3["Эксперт 3"]
R -->|"вес 0,4"| E7["Эксперт 7"]
R -.-x|"не выбран"| E1["Эксперт 1"]
R -.-x|"не выбран"| EN["…эксперт N"]
X --> S["Общий эксперт<br/>(shared, если есть)"]
E3 --> SUM(("Σ"))
E7 --> SUM
S --> SUM
SUM --> Y["выход слоя"]
На схеме top-k = 2: работают только эксперты 3 и 7 (плюс общий, если он есть в архитектуре), их выходы складываются с весами роутера. Остальные эксперты для этого токена не читаются из памяти и не считаются.
Остальные эксперты для этого токена не вычисляются. Отсюда два разных числа:
- всего параметров — сколько нужно хранить в памяти;
- активных параметров — сколько читается и считается на один токен.
Модель с обозначением 35B-A3B имеет около 35 млрд параметров всего и около 3 млрд активных на токен. По скорости она ближе к плотной 3B, по «знаниям» — к 35B.
5.2 Как устроен роутер
Для каждого токена роутер выдаёт логиты по числу экспертов, затем:
- выбирает
top-kэкспертов (обычно 2, 4 или 8); - нормирует их веса через softmax;
- смешивает выходы выбранных экспертов.
В современных моделях часто есть shared experts — эксперты, которые работают для всех токенов и не выбираются роутером. Они берут на себя общие знания, а маршрутизируемые эксперты специализируются.
Проблема обучения — балансировка нагрузки: без специального лосса роутер может «полюбить» несколько экспертов, а остальные будут простаивать. Поэтому в обучении добавляют auxiliary loss или используют bias-коррекцию. Для инференса важно, что распределение экспертов по токенам неравномерно: какие-то эксперты «горячие», какие-то почти не используются.
5.3 Сколько весит эксперт
Числа в этом разделе вымышлены для арифметики. Реальные конфиги отличаются: например, у моделей класса 30B-A3B бывает 48 слоёв и 128 экспертов, а 256 экспертов — примета гораздо более крупных MoE. Возьмём для примера 35B-модель, 40 слоёв, 256 экспертов в слое, 8 активных плюс общий. Грубая раскладка:
- attention, эмбеддинги и общие части — несколько миллиардов параметров;
- маршрутизируемые эксперты — основная масса, например ~30 млрд;
- на слой приходится
30 / 40 ≈ 0,75млрд параметров экспертов; - на одного эксперта —
0,75 / 256 ≈ 3млн параметров.
В Q4_K_M (около 4,8 бита) слой экспертов весит примерно 0,75 × 0,6 ≈ 0,45 ГБ. Это удобная единица для тюнинга: выгружая экспертов одного слоя в ОЗУ, вы освобождаете около 0,4–0,5 ГБ VRAM.
5.4 Почему MoE выгоден для локального инференса
Сравним две гипотетические модели (пример):
| Плотная 13B | MoE 35B-A3B | |
|---|---|---|
| Вес в Q4_K_M | ~7,9 ГБ | ~21 ГБ |
| Активных параметров | 13B | ~3B |
| Читается на токен | ~7,9 ГБ | ~1,8 ГБ |
| Потолок декода при 500 ГБ/с | ~63 ток/с | ~280 ток/с |
Плотная модель читает все 13B на каждый токен. MoE читает только активных экспертов, поэтому может быть в разы быстрее при большем объёме «знаний». Плата — память: все эксперты должны где-то лежать, даже если не используются.
Именно это делает возможной схему «горячее на GPU, холодное в ОЗУ»: на токен нужна малая часть экспертов, и не все они обязаны быть в видеопамяти.
5.5 Выгрузка экспертов в ОЗУ
В llama.cpp есть несколько флагов:
| Флаг | Что делает |
|---|---|
--n-cpu-moe N (-ncmoe) | экспертные FFN первых N слоёв оставить на CPU |
--cpu-moe | все эксперты на CPU |
--moe-cache-mib N | кэш «горячих» экспертов в VRAM для тех, что остались на CPU |
-ot "\.ffn_.*_exps\.weight=CPU" | точечная выгрузка экспертов по шаблону тензоров (имена зависят от архитектуры — проверьте в своей модели) |
Семантика --n-cpu-moe в разных версиях и гайдах может отличаться («первые N» или «с конца»), поэтому её надо проверять эмпирически на своей сборке.
Схема работы:
- attention, роутер, shared experts и эмбеддинги остаются на GPU;
- выбранные слои экспертов лежат в ОЗУ и считаются на CPU;
- по PCIe передаются только активации — маленькие векторы, а не матрицы весов.
Это принципиально лучше, чем «держать веса в ОЗУ и перегонять их на GPU»: передача 0,45 ГБ на слой по PCIe была бы катастрофой, а вычисление на CPU идёт на скорости ОЗУ.
Warning
Флаги выгрузки в llama.cpp развиваются быстро, а имена тензоров экспертов зависят от архитектуры. Перед тюнингом сверяйтесь с
--helpсвоей сборки и списком тензоров модели, а не с чужой командой из форума.
5.6 Арифметика выгрузки
Пусть модель читает на токен 3B активных параметров в Q4_K_M — около 1,8 ГБ. Половина экспертов выгружена.
VRAM: 0,9 ГБ / 500 ГБ/с = 1,8 мс
ОЗУ: 0,9 ГБ / 50 ГБ/с = 18 мс
итого: ~20 мс → потолок ~50 ток/с
Если выгрузить 70% экспертов:
0,54 / 500 + 1,26 / 50 ≈ 1,1 + 25,2 = 26 мс → ~38 ток/с
Это объясняет, почему выгрузка «ещё пары слоёв» может стоить заметной скорости, а не копеек. И почему для MoE выгодно держать в VRAM как можно больше экспертов — но не ценой выхода за объём карты, иначе включится тихий fallback (глава 3).
Посчитай сам. MoE-модель [пример]: 100B параметров всего, из них 90B — маршрутизируемые эксперты в 60 слоях, остальные 10B — attention, эмбеддинги и общие части. Квант Q4_K_M (0,6 байта на параметр), карта 24 ГБ, KV-кэш и буферы — 2 ГБ, запас — 2 ГБ. Сколько слоёв экспертов поместится в VRAM и какое значение --n-cpu-moe взять для начала?
Решение
общие части на GPU: 10 млрд × 0,6 = 6 ГБ
один слой экспертов: 90 млрд / 60 × 0,6 = 0,9 ГБ
бюджет на экспертов: 24 − 6 − 2 − 2 = 14 ГБ
слоёв в VRAM: 14 / 0,9 ≈ 15
В VRAM помещается около 15 слоёв экспертов из 60, значит начинать стоит с --n-cpu-moe 45 и дальше подбирать по пику VRAM (§5.10). Семантику «какие именно N слоёв» проверьте в своей сборке.
5.7 Кэш горячих экспертов
Если одни эксперты используются часто, их можно держать в VRAM даже при выгрузке остальных. --moe-cache-mib N выделяет под это N мегабайт.
Помогает, когда:
- распределение экспертов стабильно;
- активный набор маленький;
- кэш достаточно велик, чтобы накрыть горячую часть.
Не помогает или вредит, когда:
- на каждом шаге активируется много разных экспертов (например, при спекулятивном декодировании, где за один шаг проверяется несколько токенов);
- кэш отнимает VRAM у основной модели;
- распределение зависит от домена и меняется.
Это один из флагов, которые надо проверять на реальном трафике, а не на синтетике. Отдельно про то, почему спекулятивное декодирование может сломать кэш, — в главе 9, §9.7.
5.8 MoE и батчинг
Чем больше токенов в батче, тем больше разных экспертов активируется, и при достаточно большом батче в работу вовлекается почти весь слой. Из-за этого prefill большим батчем у MoE может быть менее выгодным, чем у плотной модели, а параллельные слоты увеличивают нагрузку на экспертов. Подробнее про батчинг и PagedAttention — в главе 8.
5.9 Качество и риски
MoE — не бесплатный обмен «память на скорость». Есть нюансы:
- Специализация экспертов может быть неравномерной; на редком домене модель проваливается сильнее, чем плотная.
- Квантование затрагивает всех экспертов; редкие эксперты могут пострадать заметнее.
- Выгрузка добавляет задержку и делает поведение менее предсказуемым.
- Память нужна под всех экспертов, даже «холодных».
Поэтому MoE-модель стоит проверять на своих задачах так же, как любую другую, а не только по заявленным бенчмаркам.
5.10 Практический порядок настройки
- Запустите модель с
-nglна все слои и без выгрузки экспертов — если помещается. (-ngl N— сколько слоёв держать на GPU.) - Если не помещается, увеличивайте
--n-cpu-moeпо одному слою, пока пик VRAM не опустится до «объём карты минус 1,5–2 ГБ» (правило запаса — в главе 3). - Проверьте скорость на реальной задаче, а не только на пустом промпте.
- Если есть запас VRAM, попробуйте
--moe-cache-mibи сравните на своём трафике. - Уменьшайте выгрузку, пока хватает памяти: каждый слой в VRAM обычно ускоряет декод.
- Не включайте одновременно спекулятивное декодирование и большой кэш экспертов, не измерив эффект: рабочий набор экспертов растёт.
Ключевые идеи
- MoE хранит всех экспертов, но на токен активирует нескольких.
- Скорость определяется активными параметрами, память — всеми.
- Выгрузка экспертов в ОЗУ работает, потому что по PCIe идут активации, а вычисления — на CPU.
- Единица тюнинга — один слой экспертов:
параметры экспертов ÷ число слоёв × байт на вес(в примере главы — около 0,45 ГБ). - Батчинг и спекуляция увеличивают рабочий набор экспертов и снижают выгоду разреженности.
Проверь себя
- Чем «35B-A3B» отличается от плотной 3B-модели?
- Почему выгрузка экспертов в ОЗУ не убивает скорость так, как выгрузка плотной модели?
- Модель активирует 3B параметров в Q4_K_M, из них 40% выгружено в ОЗУ. Оцените потолок декода при 600 ГБ/с VRAM и 60 ГБ/с ОЗУ.
- Почему
--moe-cache-mibможет перестать помогать при спекулятивном декодировании? - Что произойдёт с преимуществом MoE при батче в тысячи токенов?
Ответы
- Плотная 3B читает все 3B параметров на токен и хранит только их. MoE 35B-A3B хранит 35B, но читает около 3B активных; знаний больше, памяти тоже больше, скорость сопоставима.
- Плотную модель нельзя «посчитать на CPU» так же выгодно: на токен нужны все веса, и если они в ОЗУ, чтение упирается в 40–100 ГБ/с. У MoE в ОЗУ лежит только часть, и на токен читается малая доля. Плюс по PCIe не гоняются матрицы.
- Активные 3B в Q4_K_M — около 1,8 ГБ. 60% в VRAM:
1,08 / 600 ≈ 1,8 мс; 40% в ОЗУ:0,72 / 60 = 12 мс; итого ~14 мс, потолок ~70 ток/с. - За один шаг верификации проверяется несколько токенов, и они могут активировать больше разных экспертов. Рабочий набор растёт, фиксированный кэш перестаёт в него попадать.
- При большом батче активируется много разных экспертов, и за один проход в работу вовлекается почти весь слой. Преимущество разреженности уменьшается, а стоимость памяти остаётся.
Источники главы
- Fedus, Zoph, Shazeer, «Switch Transformers» (2021) — arXiv:2101.03961. Простейший MoE с top-1 роутингом и проблемы балансировки.
- Jiang et al., «Mixtral of Experts» (2024) — arXiv:2401.04088. Популярная MoE-модель и её поведение.
- Dai et al., «DeepSeekMoE» (2024) — arXiv:2401.06066. Fine-grained эксперты и shared experts.
- Hugging Face, «Mixture of Experts Explained» — блог. Доступное введение с картинками.
- llama.cpp,
tools/server/README.md— GitHub. Флаги--n-cpu-moe,--cpu-moe,--moe-cache-mib. - Hugging Face, «Performant local mixture-of-experts CPU inference with GPU acceleration in llama.cpp» — блог. Практическая схема выгрузки экспертов.
- DeepSeek-AI, «DeepSeek-V3 Technical Report» (2024) — arXiv:2412.19437. Пример большой MoE с shared experts и MTP.