Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

2. Prefill и decode: почему генерация упирается в память

Зачем эта глава. Это главная глава книги. Если понять разницу между обработкой промпта и генерацией, становится ясно, почему одни флаги ускоряют модель в разы, другие не дают ничего, а «просто добавить видеокарту» не всегда помогает.

За 30 секунд

  • Prefill (чтение промпта) обрабатывает все токены разом и упирается в вычисления.
  • Decode (генерация) идёт по одному токену и на каждом шаге заново читает все веса — он упирается в пропускную способность памяти.
  • Главная формула книги: скорость декода ≈ пропускная способность ÷ байт весов на токен.
  • Формула даёт потолок; реально получается 50–75% от него.

2.1 Две фазы работы модели

Генерация ответа состоит из двух принципиально разных режимов.

Prefill (обработка промпта). Модель получает весь промпт сразу — например, 8 тысяч токенов. Все они известны заранее, поэтому их можно прогнать через сеть параллельно, одной большой матричной операцией. Это ровно то, для чего видеокарта построена: тысячи ядер считают одновременно.

Decode (генерация). Модель выдаёт один токен, добавляет его к последовательности, снова прогоняет и так далее. Каждый следующий токен зависит от предыдущего, поэтому распараллелить шаги нельзя. На каждом шаге через сеть проходит один новый токен (в расчёте на слот; батчинг нескольких запросов — отдельная история, глава 8).

Метрики так и называют:

  • pp (prompt processing) — токенов промпта в секунду;
  • tg (text generation) — токенов ответа в секунду;
  • TTFT (time to first token) — время до первого токена, примерно prefill + один шаг decode;
  • ITL (inter-token latency) — время между токенами, обратная величина к tg.
sequenceDiagram
    participant U as Пользователь
    participant M as Модель
    participant W as Память с весами
    U->>M: промпт, 8000 токенов
    Note over M,W: Prefill: все 8000 токенов за один проход.<br/>Веса читаются один раз, много вычислений на байт
    M->>W: прочитать все веса
    M-->>U: токен 1 (здесь заканчивается TTFT)
    loop Decode: по одному токену
        M->>W: снова прочитать все веса
        Note over M,W: на один токен — те же байты,<br/>но в тысячи раз меньше вычислений
        M-->>U: токен 2, 3, 4…
    end

Обе фазы читают одни и те же веса, но prefill делит это чтение на тысячи токенов, а decode — на один.

2.2 Сколько операций и сколько байт

Для одного прохода через плотную модель с N параметрами нужно примерно

FLOPs ≈ 2 × N × B

где B — число токенов в батче. Двойка — это умножение и сложение на каждый вес. Для декода B = 1, для prefill B равно длине промпта (с точностью до чанкинга — разбиения промпта на куски, подробнее в главе 8).

FLOP (floating point operation) — одна операция с плавающей точкой. FLOP/s — сколько таких операций в секунду выполняет железо.

Байты, которые нужно прочитать из памяти:

байты ≈ N × b

где b — байт на параметр с учётом служебных данных кванта. Веса читаются один раз на проход, независимо от B; именно поэтому батчинг так выгоден для prefill.

Важно не путать «идеальные 4 бита» и реальный формат. Вот принятая в книге конвенция (подробная таблица — в главе 4):

ФорматБит на весb, байтI ≈ 2/b
FP16162,01,0
Q8_0~8,51,061,9
Q4_K_M~4,80,603,3
идеальный 4-бит4,00,504,0

Дальше в примерах используется Q4_K_M: именно он чаще всего стоит на домашних машинах. Идеальный 4-бит оставлен только для того, чтобы показать нижнюю границу.

Отношение этих величин называется арифметической интенсивностью (arithmetic intensity):

I = FLOPs / байты ≈ 2B / b

Для декода B = 1 интенсивность равна 2/b: от 1 FLOP/байт для FP16 до 3,3 для Q4_K_M. Для prefill при B = 2048 и Q4_K_M:

I ≈ 2 × 2048 / 0,60 ≈ 6800 FLOP/байт

Это в две тысячи раз больше, чем при декоде.

2.3 Roofline: два потолка

Roofline-модель говорит простую вещь: производительность ограничена либо пиковой вычислительной способностью, либо пропускной способностью памяти.

достижимые FLOP/s ≈ min( пиковые FLOP/s, пропускная способность × I )

Точка перелома — там, где эти две величины равны:

I* = пиковые FLOP/s / пропускная способность

Для современной видеокарты с 50 TFLOP/s и 1 ТБ/с I* ≈ 50 FLOP/байт. Для карты с 500 ГБ/с и 20 TFLOP/s — I* ≈ 40.

Сравним с декодом:

  • Q4_K_M даёт I ≈ 3,3 FLOP/байт;
  • это в 12–25 раз меньше точки перелома I* ≈ 40–80.

Значит, декод упирается в память, а не в вычисления. Вычислительные блоки видеокарты в это время в основном простаивают: они ждут, пока веса приедут из видеопамяти.

Prefill при B = 2048 даёт I ≈ 6800, что намного выше точки перелома. Значит, prefill упирается в вычисления.

Обратите внимание: I* — свойство железа, а I — рабочая точка нагрузки. Квантование меняет I, а не I*.

Рисунок 2.1. Roofline в логарифмическом масштабе. Наклонный участок — потолок памяти (пропускная способность × I), горизонтальный — потолок вычислений. Декод (I ≈ 1–3) у всех трёх устройств попадает на наклонный участок, prefill — на горизонтальный. Расчёт по формуле выше, параметры устройств условные.

Это не философское наблюдение, а рабочее правило:

скорость декода ≈ достижимая пропускная способность памяти ÷ байт, прочитанных на один токен

2.4 Практические оценки скорости

Возьмём плотную модель 7B в Q4_K_M. Вес — около 4,2 ГБ. На карте с достижимой пропускной способностью 400 ГБ/с:

400 / 4,2 ≈ 95 ток/с

Это теоретический потолок. Реально будет 50–75% от него: сказываются накладные расходы, attention, сэмплинг (выбор токена из распределения, глава 10), неполная загрузка памяти. Разумное ожидание — 50–70 ток/с.

Теперь 70B в Q4_K_M: около 42 ГБ. На той же карте:

400 / 42 ≈ 9,5 ток/с

А на карте с 1 ТБ/с — около 24 ток/с теоретически и 12–18 реально. Разница между 7B и 70B — ровно в 10 раз по объёму весов, и скорость падает примерно во столько же. Это и есть память, а не «слабость вычислений».

Для MoE (mixture of experts, глава 5) формула меняется: читаются не все веса, а только активные эксперты. Поэтому 35B-A3B может работать со скоростью, близкой к плотной 3B-модели, хотя занимает память как 35B.

Рисунок 2.2. Потолок декода для Q4_K_M: линия — пропускная способность ÷ размер весов, полоса — реалистичные 50–75% от потолка. Вертикальные ориентиры — диапазоны из таблицы главы 3. Расчёт, не замер.

Tip

Чтобы прикинуть скорость любой модели, хватит двух чисел: размера файла (или активной части для MoE) и пропускной способности памяти из спецификации. Разделите одно на другое и возьмите половину–три четверти — это и есть разумное ожидание до любых замеров.

2.5 Почему prefill всё-таки важен

Если в обычном чате большую часть времени занимает декод, зачем ускорять prefill? Причины три.

  1. TTFT. Пользователь ждёт первый токен. При промпте 30 тысяч токенов и скорости 1000 ток/с это 30 секунд молчания.
  2. Длинные документы. Если модель читает 100 тысяч токенов, prefill становится заметной частью работы, даже если ответ короткий.
  3. Стоимость attention на длинном контексте. При prefill сложность attention растёт квадратично по длине, и на очень длинных промптах баланс смещается.

Но главное правило остаётся: для интерактивной генерации основной рычаг — декод, а для пакетной обработки длинных документов — prefill и кэш промпта.

2.6 Где формула ломается

Простая модель полезна, но у неё есть ограничения.

  • Квантованные веса распаковываются. При 4-битном хранении байт меньше, но перед умножением значения часто приводятся к 16 битам. Это добавляет вычисления и может снизить эффективную пропускную способность.
  • Attention тоже читает память. На длинном контексте KV-кэш — сохранённые K и V прошлых токенов (глава 6) — становится сопоставим с весами по объёму чтения.
  • Пропускная способность зависит от шаблона доступа. Последовательное чтение быстрее случайного; выгрузка экспертов в ОЗУ меняет не только объём, но и задержку.
  • Attention — тоже кернел. Наивный attention материализует матрицу «каждый токен с каждым», и на длинном контексте это становится узким местом по памяти. FlashAttention считает блоками, не выгружая матрицу целиком, поэтому на длинных промптах разница особенно заметна.
  • Пиковые FLOP/s — маркетинг. Указывают разреженность тензорных ядер (structured sparsity, например 2:4 — это не то же самое, что условная активация экспертов MoE, глава 5), FP8 или INT4 (форматы низкой точности, глава 4); реальная матричная операция в llama.cpp может идти на других типах.

Поэтому расчёт даёт порядок величины и потолок, а не точное число. Точное число даёт бенчмарк (глава 12).

2.7 Небольшой расчёт «на салфетке»

Модель 13B, квант Q4_K_M, весит около 7,9 ГБ. Карта 12 ГБ, пропускная способность 360 ГБ/с.

потолок декода: 360 / 7,9 ≈ 46 ток/с
реалистично:    25–35 ток/с

Хватит ли 12 ГБ (это 11,2 ГиБ)? Веса 7,9 ГБ ≈ 7,4 ГиБ. KV-кэш в FP16 на 8k [пример: 32 слоя, GQA с 8 KV-головами по 128] — 2 × 32 × 8 × 128 × 2 байта = 128 КиБ на токен, то есть ровно 1 ГиБ на 8192 токена (формула — в главе 6). Служебные буферы — 0,5–1 ГиБ. Итого 8,9–9,4 ГиБ: помещается с запасом около 2 ГиБ. Если поднять контекст до 32k, KV вырастет до 4 ГиБ, сумма дойдёт до 11,9–12,4 ГиБ — и в 12-гигабайтную карту модель уже не поместится вовсе. Это типичный выбор: контекст или запас по памяти, а не «всё сразу».

Посчитай сам. Mac с объединённой памятью 614 ГБ/с [пример] и плотная модель 35B в Q4_K_M. Каков потолок декода и какую скорость ждать? А если взять MoE 35B-A3B в том же кванте?

Решение
35B dense:  35 × 0,6 = 21 ГБ на токен → 614 / 21 ≈ 29 ток/с → реально 15–22
35B-A3B:     3 × 0,6 = 1,8 ГБ на токен → 614 / 1,8 ≈ 340 ток/с — формальный потолок

Обе модели занимают в памяти около 21 ГБ, но MoE читает на токен в 12 раз меньше. Её реальная скорость будет заметно ниже формального потолка — начнут мешать attention и накладные расходы (глава 5), — но всё равно в разы выше, чем у плотной модели.

2.8 TTFT и ITL: две метрики, которые нельзя складывать

В §2.1 они уже названы, но здесь важно разделить их по смыслу — это две разные задержки, и оптимизируются они разными рычагами.

TTFT = t_1 − t_0
ITL_j = t_{j+1} − t_j          (j = 1 … N − 1)
T_ответа = TTFT + Σ_{j=1}^{N−1} ITL_j

TTFT (time to first token) — сколько пользователь ждёт до первого символа. В него входят ожидание в очереди, prefill всего промпта и один шаг декода:

TTFT ≈ W_очереди + P / pp + T_шага

где P — длина промпта, pp — скорость обработки промпта, T_шага — шаг декода, порождающий первый токен. ITL_1 — уже интервал между первым и вторым выходными токенами, поэтому в TTFT он не входит. На длинном промпте доминирует P / pp; на перегруженном сервере — W_очереди.

ITL (inter-token latency) — время между токенами после первого. Оно определяется декодом: чтением весов и KV, батчем и спекуляцией. ITL не константа: на длинном контексте он растёт, при вставке чужого prefill — подскакивает, поэтому смотрят не только среднее, но и медиану с p95.

Отсюда два разных «ток/с»:

  • скорость декода tg ≈ 1 / медианный ITL — то, что показывает llama-bench;
  • воспринимаемая скорость N / T_ответа — сколько токенов в секунду получает пользователь с учётом ожидания первого.

Они расходятся тем сильнее, чем длиннее промпт и короче ответ.

Посчитай сам. Промпт 30 000 токенов, pp = 800 ток/с, ответ 300 токенов, медианный ITL 30 мс. Каковы TTFT, полное время и воспринимаемая скорость? Что улучшать, если пользователь жалуется на медленный ответ?

Решение
TTFT = 30 000 / 800 = 37,5 с
T    = 37,5 + 299 × 0,030 ≈ 46,5 с
воспринимаемая скорость = 300 / 46,5 ≈ 6,5 ток/с
скорость декода = 1 / 0,030 ≈ 33 ток/с

Пользователь видит 6,5 ток/с, хотя декод идёт на 33. Жалоба почти наверняка про TTFT: лечить нужно prefill — кэш префикса (глава 7), более быстрый prefill или сокращение промпта. Ускорять декод в пять раз бессмысленно: полное время упадёт с 46,5 до 39,3 с, потому что 37,5 с — это ожидание первого токена.

Tip

Если жалуются «долго думает, потом быстро печатает» — это TTFT и prefill. Если «начинает сразу, но печатает медленно» — это ITL и декод. Если «всё медленно и очередь» — смотрите загрузку сервера и число одновременных запросов (глава 8), а не модель.

Ключевые идеи

  • Prefill параллелен и упирается в вычисления; decode последователен и упирается в пропускную способность памяти.
  • Арифметическая интенсивность декода ≈ 2/b; для Q4_K_M это около 3,3 FLOP/байт, что в десятки раз ниже точки перелома.
  • Скорость декода ≈ пропускная способность ÷ байт весов на токен.
  • Батчинг ускоряет prefill, но почти не помогает декоду одного запроса (речь о latency; про throughput сервера — глава 8).
  • TTFT и ITL — разные метрики: TTFT определяется очередью и prefill, ITL — декодом; полное время — их сумма.
  • Формула даёт потолок; реальная скорость — 50–75% от него.

Проверь себя

  1. Почему увеличение батча промпта с 512 до 4096 токенов может ускорить prefill почти линейно, а декод — нет?
  2. У модели 30B в Q4_K_M (около 18 ГБ) и карты с 700 ГБ/с: какой порядок скорости декода?
  3. Что такое точка перелома roofline и что её двигает?
  4. Почему на длинном контексте простая формула «пропускная способность ÷ веса» начинает завышать скорость?
  5. Если TTFT 20 секунд, а генерация идёт со скоростью 40 ток/с, что нужно улучшать для интерактивного чата?

Ответы

  1. Prefill обрабатывает все токены параллельно: веса читаются один раз, а вычисления растут с батчем. Декод обрабатывает по одному токену на слот, и веса приходится читать заново на каждом шаге, поэтому батч не уменьшает объём чтения.
  2. 700 / 18 ≈ 39 ток/с теоретически, реально 50–75% от этого — примерно 20–29 ток/с (если модель помещается в память целиком).
  3. Это интенсивность I* = пиковые FLOP/s / пропускная способность, при которой память и вычисления дают одинаковую производительность. Она зависит только от железа. Квантование меняет рабочую точку I = 2/b: сильнее сжатый вес означает меньше байт и выше I, поэтому точка приближается к I*, но сама I* не смещается.
  4. На длинном контексте добавляется чтение KV-кэша и вычисление attention, которые растут с длиной. Кроме того, падает эффективность доступа к памяти.
  5. TTFT определяется в основном prefill. Нужно ускорять обработку промпта (батчи, более быстрый prefill, кэш префикса) или сокращать промпт; скорость генерации на TTFT почти не влияет.

Источники главы

  • Pope et al., «Efficiently Scaling Transformer Inference» (2022) — arXiv:2211.05102. Анализ компромиссов память/вычисления/батч для инференса трансформеров.
  • Horace He, «Making Deep Learning Go Brrrr From First Principles» — horace.io. Лучшее введение в compute-bound vs memory-bound без тяжёлой математики.
  • kipply, «Transformer Inference Arithmetic» — kipp.ly. Подробные расчёты FLOPs, байт и задержек для декода.
  • Databricks, «LLM Inference Performance Engineering: Best Practices» — блог. Практические метрики и узкие места в продакшене.
  • NVIDIA H100 — страница продукта. Пример спецификации: 3,35 ТБ/с HBM3 у SXM-версии.
  • Apple Mac Studio, технические характеристики — apple.com. Пример объединённой памяти: 460–614 ГБ/с у M5 Max, до 1,2 ТБ/с у M5 Ultra.