2. Prefill и decode: почему генерация упирается в память
Зачем эта глава. Это главная глава книги. Если понять разницу между обработкой промпта и генерацией, становится ясно, почему одни флаги ускоряют модель в разы, другие не дают ничего, а «просто добавить видеокарту» не всегда помогает.
За 30 секунд
- Prefill (чтение промпта) обрабатывает все токены разом и упирается в вычисления.
- Decode (генерация) идёт по одному токену и на каждом шаге заново читает все веса — он упирается в пропускную способность памяти.
- Главная формула книги: скорость декода ≈ пропускная способность ÷ байт весов на токен.
- Формула даёт потолок; реально получается 50–75% от него.
2.1 Две фазы работы модели
Генерация ответа состоит из двух принципиально разных режимов.
Prefill (обработка промпта). Модель получает весь промпт сразу — например, 8 тысяч токенов. Все они известны заранее, поэтому их можно прогнать через сеть параллельно, одной большой матричной операцией. Это ровно то, для чего видеокарта построена: тысячи ядер считают одновременно.
Decode (генерация). Модель выдаёт один токен, добавляет его к последовательности, снова прогоняет и так далее. Каждый следующий токен зависит от предыдущего, поэтому распараллелить шаги нельзя. На каждом шаге через сеть проходит один новый токен (в расчёте на слот; батчинг нескольких запросов — отдельная история, глава 8).
Метрики так и называют:
- pp (prompt processing) — токенов промпта в секунду;
- tg (text generation) — токенов ответа в секунду;
- TTFT (time to first token) — время до первого токена, примерно prefill + один шаг decode;
- ITL (inter-token latency) — время между токенами, обратная величина к tg.
sequenceDiagram
participant U as Пользователь
participant M as Модель
participant W as Память с весами
U->>M: промпт, 8000 токенов
Note over M,W: Prefill: все 8000 токенов за один проход.<br/>Веса читаются один раз, много вычислений на байт
M->>W: прочитать все веса
M-->>U: токен 1 (здесь заканчивается TTFT)
loop Decode: по одному токену
M->>W: снова прочитать все веса
Note over M,W: на один токен — те же байты,<br/>но в тысячи раз меньше вычислений
M-->>U: токен 2, 3, 4…
end
Обе фазы читают одни и те же веса, но prefill делит это чтение на тысячи токенов, а decode — на один.
2.2 Сколько операций и сколько байт
Для одного прохода через плотную модель с N параметрами нужно примерно
FLOPs ≈ 2 × N × B
где B — число токенов в батче. Двойка — это умножение и сложение на каждый вес. Для декода B = 1, для prefill B равно длине промпта (с точностью до чанкинга — разбиения промпта на куски, подробнее в главе 8).
FLOP (floating point operation) — одна операция с плавающей точкой. FLOP/s — сколько таких операций в секунду выполняет железо.
Байты, которые нужно прочитать из памяти:
байты ≈ N × b
где b — байт на параметр с учётом служебных данных кванта. Веса читаются один раз на проход, независимо от B; именно поэтому батчинг так выгоден для prefill.
Важно не путать «идеальные 4 бита» и реальный формат. Вот принятая в книге конвенция (подробная таблица — в главе 4):
| Формат | Бит на вес | b, байт | I ≈ 2/b |
|---|---|---|---|
| FP16 | 16 | 2,0 | 1,0 |
| Q8_0 | ~8,5 | 1,06 | 1,9 |
| Q4_K_M | ~4,8 | 0,60 | 3,3 |
| идеальный 4-бит | 4,0 | 0,50 | 4,0 |
Дальше в примерах используется Q4_K_M: именно он чаще всего стоит на домашних машинах. Идеальный 4-бит оставлен только для того, чтобы показать нижнюю границу.
Отношение этих величин называется арифметической интенсивностью (arithmetic intensity):
I = FLOPs / байты ≈ 2B / b
Для декода B = 1 интенсивность равна 2/b: от 1 FLOP/байт для FP16 до 3,3 для Q4_K_M. Для prefill при B = 2048 и Q4_K_M:
I ≈ 2 × 2048 / 0,60 ≈ 6800 FLOP/байт
Это в две тысячи раз больше, чем при декоде.
2.3 Roofline: два потолка
Roofline-модель говорит простую вещь: производительность ограничена либо пиковой вычислительной способностью, либо пропускной способностью памяти.
достижимые FLOP/s ≈ min( пиковые FLOP/s, пропускная способность × I )
Точка перелома — там, где эти две величины равны:
I* = пиковые FLOP/s / пропускная способность
Для современной видеокарты с 50 TFLOP/s и 1 ТБ/с I* ≈ 50 FLOP/байт. Для карты с 500 ГБ/с и 20 TFLOP/s — I* ≈ 40.
Сравним с декодом:
- Q4_K_M даёт
I ≈ 3,3FLOP/байт; - это в 12–25 раз меньше точки перелома
I* ≈ 40–80.
Значит, декод упирается в память, а не в вычисления. Вычислительные блоки видеокарты в это время в основном простаивают: они ждут, пока веса приедут из видеопамяти.
Prefill при B = 2048 даёт I ≈ 6800, что намного выше точки перелома. Значит, prefill упирается в вычисления.
Обратите внимание: I* — свойство железа, а I — рабочая точка нагрузки. Квантование меняет I, а не I*.
Рисунок 2.1. Roofline в логарифмическом масштабе. Наклонный участок — потолок памяти (пропускная способность × I), горизонтальный — потолок вычислений. Декод (I ≈ 1–3) у всех трёх устройств попадает на наклонный участок, prefill — на горизонтальный. Расчёт по формуле выше, параметры устройств условные.
Это не философское наблюдение, а рабочее правило:
скорость декода ≈ достижимая пропускная способность памяти ÷ байт, прочитанных на один токен
2.4 Практические оценки скорости
Возьмём плотную модель 7B в Q4_K_M. Вес — около 4,2 ГБ. На карте с достижимой пропускной способностью 400 ГБ/с:
400 / 4,2 ≈ 95 ток/с
Это теоретический потолок. Реально будет 50–75% от него: сказываются накладные расходы, attention, сэмплинг (выбор токена из распределения, глава 10), неполная загрузка памяти. Разумное ожидание — 50–70 ток/с.
Теперь 70B в Q4_K_M: около 42 ГБ. На той же карте:
400 / 42 ≈ 9,5 ток/с
А на карте с 1 ТБ/с — около 24 ток/с теоретически и 12–18 реально. Разница между 7B и 70B — ровно в 10 раз по объёму весов, и скорость падает примерно во столько же. Это и есть память, а не «слабость вычислений».
Для MoE (mixture of experts, глава 5) формула меняется: читаются не все веса, а только активные эксперты. Поэтому 35B-A3B может работать со скоростью, близкой к плотной 3B-модели, хотя занимает память как 35B.
Рисунок 2.2. Потолок декода для Q4_K_M: линия — пропускная способность ÷ размер весов, полоса — реалистичные 50–75% от потолка. Вертикальные ориентиры — диапазоны из таблицы главы 3. Расчёт, не замер.
Tip
Чтобы прикинуть скорость любой модели, хватит двух чисел: размера файла (или активной части для MoE) и пропускной способности памяти из спецификации. Разделите одно на другое и возьмите половину–три четверти — это и есть разумное ожидание до любых замеров.
2.5 Почему prefill всё-таки важен
Если в обычном чате большую часть времени занимает декод, зачем ускорять prefill? Причины три.
- TTFT. Пользователь ждёт первый токен. При промпте 30 тысяч токенов и скорости 1000 ток/с это 30 секунд молчания.
- Длинные документы. Если модель читает 100 тысяч токенов, prefill становится заметной частью работы, даже если ответ короткий.
- Стоимость attention на длинном контексте. При prefill сложность attention растёт квадратично по длине, и на очень длинных промптах баланс смещается.
Но главное правило остаётся: для интерактивной генерации основной рычаг — декод, а для пакетной обработки длинных документов — prefill и кэш промпта.
2.6 Где формула ломается
Простая модель полезна, но у неё есть ограничения.
- Квантованные веса распаковываются. При 4-битном хранении байт меньше, но перед умножением значения часто приводятся к 16 битам. Это добавляет вычисления и может снизить эффективную пропускную способность.
- Attention тоже читает память. На длинном контексте KV-кэш — сохранённые K и V прошлых токенов (глава 6) — становится сопоставим с весами по объёму чтения.
- Пропускная способность зависит от шаблона доступа. Последовательное чтение быстрее случайного; выгрузка экспертов в ОЗУ меняет не только объём, но и задержку.
- Attention — тоже кернел. Наивный attention материализует матрицу «каждый токен с каждым», и на длинном контексте это становится узким местом по памяти. FlashAttention считает блоками, не выгружая матрицу целиком, поэтому на длинных промптах разница особенно заметна.
- Пиковые FLOP/s — маркетинг. Указывают разреженность тензорных ядер (structured sparsity, например 2:4 — это не то же самое, что условная активация экспертов MoE, глава 5), FP8 или INT4 (форматы низкой точности, глава 4); реальная матричная операция в llama.cpp может идти на других типах.
Поэтому расчёт даёт порядок величины и потолок, а не точное число. Точное число даёт бенчмарк (глава 12).
2.7 Небольшой расчёт «на салфетке»
Модель 13B, квант Q4_K_M, весит около 7,9 ГБ. Карта 12 ГБ, пропускная способность 360 ГБ/с.
потолок декода: 360 / 7,9 ≈ 46 ток/с
реалистично: 25–35 ток/с
Хватит ли 12 ГБ (это 11,2 ГиБ)? Веса 7,9 ГБ ≈ 7,4 ГиБ. KV-кэш в FP16 на 8k [пример: 32 слоя, GQA с 8 KV-головами по 128] — 2 × 32 × 8 × 128 × 2 байта = 128 КиБ на токен, то есть ровно 1 ГиБ на 8192 токена (формула — в главе 6). Служебные буферы — 0,5–1 ГиБ. Итого 8,9–9,4 ГиБ: помещается с запасом около 2 ГиБ. Если поднять контекст до 32k, KV вырастет до 4 ГиБ, сумма дойдёт до 11,9–12,4 ГиБ — и в 12-гигабайтную карту модель уже не поместится вовсе. Это типичный выбор: контекст или запас по памяти, а не «всё сразу».
Посчитай сам. Mac с объединённой памятью 614 ГБ/с [пример] и плотная модель 35B в Q4_K_M. Каков потолок декода и какую скорость ждать? А если взять MoE 35B-A3B в том же кванте?
Решение
35B dense: 35 × 0,6 = 21 ГБ на токен → 614 / 21 ≈ 29 ток/с → реально 15–22
35B-A3B: 3 × 0,6 = 1,8 ГБ на токен → 614 / 1,8 ≈ 340 ток/с — формальный потолок
Обе модели занимают в памяти около 21 ГБ, но MoE читает на токен в 12 раз меньше. Её реальная скорость будет заметно ниже формального потолка — начнут мешать attention и накладные расходы (глава 5), — но всё равно в разы выше, чем у плотной модели.
2.8 TTFT и ITL: две метрики, которые нельзя складывать
В §2.1 они уже названы, но здесь важно разделить их по смыслу — это две разные задержки, и оптимизируются они разными рычагами.
TTFT = t_1 − t_0
ITL_j = t_{j+1} − t_j (j = 1 … N − 1)
T_ответа = TTFT + Σ_{j=1}^{N−1} ITL_j
TTFT (time to first token) — сколько пользователь ждёт до первого символа. В него входят ожидание в очереди, prefill всего промпта и один шаг декода:
TTFT ≈ W_очереди + P / pp + T_шага
где P — длина промпта, pp — скорость обработки промпта, T_шага — шаг декода, порождающий первый токен. ITL_1 — уже интервал между первым и вторым выходными токенами, поэтому в TTFT он не входит. На длинном промпте доминирует P / pp; на перегруженном сервере — W_очереди.
ITL (inter-token latency) — время между токенами после первого. Оно определяется декодом: чтением весов и KV, батчем и спекуляцией. ITL не константа: на длинном контексте он растёт, при вставке чужого prefill — подскакивает, поэтому смотрят не только среднее, но и медиану с p95.
Отсюда два разных «ток/с»:
- скорость декода
tg ≈ 1 / медианный ITL— то, что показываетllama-bench; - воспринимаемая скорость
N / T_ответа— сколько токенов в секунду получает пользователь с учётом ожидания первого.
Они расходятся тем сильнее, чем длиннее промпт и короче ответ.
Посчитай сам. Промпт 30 000 токенов, pp = 800 ток/с, ответ 300 токенов, медианный ITL 30 мс. Каковы TTFT, полное время и воспринимаемая скорость? Что улучшать, если пользователь жалуется на медленный ответ?
Решение
TTFT = 30 000 / 800 = 37,5 с
T = 37,5 + 299 × 0,030 ≈ 46,5 с
воспринимаемая скорость = 300 / 46,5 ≈ 6,5 ток/с
скорость декода = 1 / 0,030 ≈ 33 ток/с
Пользователь видит 6,5 ток/с, хотя декод идёт на 33. Жалоба почти наверняка про TTFT: лечить нужно prefill — кэш префикса (глава 7), более быстрый prefill или сокращение промпта. Ускорять декод в пять раз бессмысленно: полное время упадёт с 46,5 до 39,3 с, потому что 37,5 с — это ожидание первого токена.
Tip
Если жалуются «долго думает, потом быстро печатает» — это TTFT и prefill. Если «начинает сразу, но печатает медленно» — это ITL и декод. Если «всё медленно и очередь» — смотрите загрузку сервера и число одновременных запросов (глава 8), а не модель.
Ключевые идеи
- Prefill параллелен и упирается в вычисления; decode последователен и упирается в пропускную способность памяти.
- Арифметическая интенсивность декода ≈
2/b; для Q4_K_M это около 3,3 FLOP/байт, что в десятки раз ниже точки перелома. - Скорость декода ≈ пропускная способность ÷ байт весов на токен.
- Батчинг ускоряет prefill, но почти не помогает декоду одного запроса (речь о latency; про throughput сервера — глава 8).
- TTFT и ITL — разные метрики: TTFT определяется очередью и prefill, ITL — декодом; полное время — их сумма.
- Формула даёт потолок; реальная скорость — 50–75% от него.
Проверь себя
- Почему увеличение батча промпта с 512 до 4096 токенов может ускорить prefill почти линейно, а декод — нет?
- У модели 30B в Q4_K_M (около 18 ГБ) и карты с 700 ГБ/с: какой порядок скорости декода?
- Что такое точка перелома roofline и что её двигает?
- Почему на длинном контексте простая формула «пропускная способность ÷ веса» начинает завышать скорость?
- Если TTFT 20 секунд, а генерация идёт со скоростью 40 ток/с, что нужно улучшать для интерактивного чата?
Ответы
- Prefill обрабатывает все токены параллельно: веса читаются один раз, а вычисления растут с батчем. Декод обрабатывает по одному токену на слот, и веса приходится читать заново на каждом шаге, поэтому батч не уменьшает объём чтения.
700 / 18 ≈ 39 ток/стеоретически, реально 50–75% от этого — примерно 20–29 ток/с (если модель помещается в память целиком).- Это интенсивность
I* = пиковые FLOP/s / пропускная способность, при которой память и вычисления дают одинаковую производительность. Она зависит только от железа. Квантование меняет рабочую точкуI = 2/b: сильнее сжатый вес означает меньше байт и вышеI, поэтому точка приближается кI*, но самаI*не смещается. - На длинном контексте добавляется чтение KV-кэша и вычисление attention, которые растут с длиной. Кроме того, падает эффективность доступа к памяти.
- TTFT определяется в основном prefill. Нужно ускорять обработку промпта (батчи, более быстрый prefill, кэш префикса) или сокращать промпт; скорость генерации на TTFT почти не влияет.
Источники главы
- Pope et al., «Efficiently Scaling Transformer Inference» (2022) — arXiv:2211.05102. Анализ компромиссов память/вычисления/батч для инференса трансформеров.
- Horace He, «Making Deep Learning Go Brrrr From First Principles» — horace.io. Лучшее введение в compute-bound vs memory-bound без тяжёлой математики.
- kipply, «Transformer Inference Arithmetic» — kipp.ly. Подробные расчёты FLOPs, байт и задержек для декода.
- Databricks, «LLM Inference Performance Engineering: Best Practices» — блог. Практические метрики и узкие места в продакшене.
- NVIDIA H100 — страница продукта. Пример спецификации: 3,35 ТБ/с HBM3 у SXM-версии.
- Apple Mac Studio, технические характеристики — apple.com. Пример объединённой памяти: 460–614 ГБ/с у M5 Max, до 1,2 ТБ/с у M5 Ultra.