Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Приложение. Порядок анализа: шпаргалка

Зачем это приложение. Когда генерация медленная, хочется сразу крутить флаги. Правильный порядок другой: сначала проверить, что всё помещается, потом посчитать нижнюю границу, затем измерить и только после этого искать причину. Эта страница — короткий маршрут по книге на один экран.

За 30 секунд

  • Сначала память, потом время: если не помещается, считать скорость бессмысленно.
  • Любое измерение сравнивайте с нижней границей, а не с прошлой версией конфига.
  • Разложите время на очередь, prefill, decode и число шагов — и лечите тот отрезок, который вырос.
  • Меняйте одно условие за раз; иначе не узнаете, что помогло.

Порядок анализа

flowchart TB
    A["0. Задача и SLO:<br/>что считается успехом?"] --> B["1. Память:<br/>вес + KV + буферы + запас<br/>≤ доступная память?"]
    B -->|"нет"| B1["Уменьшить модель, контекст,<br/>слоты или квант"]
    B -->|"да"| C["2. Нижняя граница:<br/>max(вычисления, чтение)<br/>на тех же условиях"]
    C --> D["3. Измерение:<br/>TTFT, ITL, полное время,<br/>пик VRAM, качество"]
    D --> E["4. Разложение:<br/>какой отрезок вырос —<br/>очередь, prefill, decode,<br/>число шагов, вне модели?"]
    E --> F["5. Одна гипотеза —<br/>одно изменённое условие"]
    F --> G{"Эффект больше шума<br/>и качество не упало?"}
    G -->|"да"| H["Новая базовая линия"]
    G -->|"нет"| I["Отрицательный результат<br/>тоже в отчёт"]
    H --> C
    I --> C
ШагВопросЧто считатьЧто обычно забываютГлава
0Что считается успехом?TTFT, ITL, полное время, доля правильных и завершённых, бюджетthroughput без SLO и качества ничего не говорит о пригодности12
1Помещается ли?вес + KV × слоты + буферы + запас ≤ память, всё в одних единицахKV на конец генерации, а не после prefill; ГБ против ГиБ; запас 1,5–2 ГБ3, 6, 13
2Быстрее чего нельзя?T ≥ max(2N_active × B / Π, (W + b × C × k) / β)чтение KV вдобавок к весам; пик не той точности; достижимая, а не паспортная пропускная способность2, 8
3Насколько далеко от предела?MBU = T_lower / T_measured, MFU = T_compute / T_measuredодинаковые определения метрик; один прогон; холодный и горячий кэш12
4Какой отрезок вырос?очередь + prefill + ITL × шаги + время вне моделиочередь при неизменном ITL; заполненный пул KV; вставка чужого prefill; инструменты и сеть8, 12
5Что менять?одна гипотеза, один параметр, чередующиеся пары, медиана разницынесколько изменённых условий сразу; сравнение «медиана против медианы» вместо парной разницы12

Warning

Нижняя граница — не прогноз и не обещание скорости. Это время, быстрее которого шаг физически невозможен. Реальное время всегда больше; задача анализа — объяснить, насколько и почему, а не «догнать предел».

Пять ограничений, которые упускают

Это те же пять пунктов, на которых чаще всего ломаются оценки, но пересказанные для одной машины (Боцзе Ли, предисловие; см. sources.md):

  1. Учли только веса. На каждом шаге attention читает KV всех токенов контекста. На 8k это может быть 1 ГиБ, на 32k — 4 ГиБ; при больших батчах чтение KV сравнивается с весами.
  2. Посчитали время, но не проверили ёмкость. Веса, KV всех слотов, буферы и запас должны поместиться вместе, и в конце генерации, а не только после загрузки.
  3. Взяли пиковые FLOP/s. Если память не успевает подавать данные, вычисления ждут. Время — максимум из вычислений и чтения; для декода почти всегда чтение.
  4. Разделили работу на N и решили, что время уменьшится в N раз. При выгрузке в ОЗУ и нескольких GPU появляется канал: PCIe, NVLink или сеть. Его время не делится на N и может стать критическим путём.
  5. Получили высокий throughput и забыли задержку. Батч повышает ток/с на сервер, но каждый запрос ждёт очередь и соседей. Пропускную способность и TTFT/ITL указывают вместе.

Рычаг под доминирующий член

ДоминируетПомогаетНе помогаетГлава
Чтение весов (декод, батч 1)меньше байт (квант), больше пропускная способность, батч до b*больше TFLOPS, больше ёмкости2, 4
Чтение KV (длинный контекст, много слотов)GQA/MLA, окно, сжатие KV, общий префиксбатч: KV каждого запроса читается отдельно6, 8
Вычисления (prefill, большой батч)больше FLOP/s нужной точности, меньше токенов, блочный prefillбольше пропускной способности памяти2, 8
Очередьзагрузка ниже 1, допуск, отмена, ограничение приёмарост средней мощности без учёта всплесков8
Запуск ядер и хостCUDA Graph, меньше синхронизаций, крупнее батчболее быстрая карта8, 12
Выгрузка в ОЗУ/PCIeсчитать на CPU, меньше выгруженных слоёв, быстрее каналбольше VRAM без изменения раскладки3, 5

Вопрос → формула → глава

ВопросФормулаГлава
Сколько весит модель?байт ≈ N × bpw / 8; Q4_K_M — около 4,8 бита4
Сколько места под KV?KV = 2 × L_full × n_kv_heads × d_head × C × bytes6
Влезет ли всё?W + KV × слоты + буферы + запас ≤ M13
Потолок декода?ток/с ≤ β / W_active2
Нижняя граница шага?T ≥ max(2N_active × B / Π, (W + b × C × k) / β), B = b для декода, B = P для prefill2, 8
Когда батч перестаёт помогать?b* = W / (C × k); минимальный целый — округлением вверх; дальше чтение KV догоняет веса8
TTFT?TTFT ≈ очередь + prefill + один шаг decode2
Полное время ответа?T = TTFT + Σ ITL2
Сколько запросов в системе?N = λ × T (закон Литтла)8
Сколько токенов даёт спекуляция?E[N] = (1 − α^(γ+1)) / (1 − α)9
Окупается ли черновик?E[N] > 1 + γ × d, или d < (E[N] − 1) / γ9
Ускорение задачи?S = 1 / ((1 − f) + f / s)12
Эффективная пропускная способность?R_good = правильные и вовремя / время12
Насколько мы далеки от предела?MBU = T_lower / T_measured12

Пример на салфетке

Дано: плотная 8B в Q4_K_M (W = 4,2 ГБ), контекст 8k, KV k = 128 КиБ/токен, карта β = 400 ГБ/с, измерено 32 ток/с.

KV на 8k:      8192 × 128 КиБ = 1 ГиБ ≈ 1,074 ГБ
нижняя граница: (4,2 + 1,074) / 400 = 13,2 мс
измерено:       1000 / 32 = 31,25 мс
MBU:            13,2 / 31,25 ≈ 0,42
разрыв:         31,25 − 13,2 ≈ 18 мс

18 мс почти не зависят от объёма — похоже на накладные расходы шага (запуск ядер, хост, синхронизация), но это гипотеза, а не доказательство. Проверка одним условием: включить CUDA Graph или Metal-граф и посмотреть, уменьшится ли разрыв. Если да — причина в запуске; если нет — искать очередь, кэш экспертов или выгрузку. Второе условие — поднять контекст до 32k: нижняя граница вырастет на 3 × 1,074 / 400 ≈ 8,1 мс. Если измерение выросло примерно на столько же, виновато чтение KV; если почти не выросло — разрыв фиксированный.

Чек-лист перед выводом

  • Все единицы приведены к байтам или ГиБ.
  • Посчитан KV на все слоты и на конец генерации.
  • Нижняя граница посчитана для той же модели, кванта, контекста и батча.
  • Понятно, какой отрезок вырос: очередь, prefill, ITL, число шагов или время вне модели.
  • Изменено одно условие; замеров 3–5; есть медиана и разброс.
  • Проверено качество, а не только ток/с.
  • Записан отрицательный результат и версия рантайма.

Источники

  • Bojie Li, «AI Infra in Depth» — GitHub, Apache-2.0: порядок анализа, пять упускаемых ограничений, нижняя граница и разложение разрыва.
  • Русский перевод community edition — GitHub, Apache-2.0.
  • Скилл «Designing AI Infra» — GitHub, Apache-2.0: шпаргалка и плейбук diagnose-serving, адаптированные под локальный сервер.