16. Глоссарий
Короткие определения терминов, которые встречаются в книге. В скобках — глава, где тема разобрана подробнее.
Железо и память
- VRAM — видеопамять, отдельный пул на дискретной видеокарте. Самая быстрая память для весов, но её мало: 8–32 ГБ у потребительских карт, 48–96 ГБ у профессиональных. (Гл. 3)
- ОЗУ (RAM) — системная память. Больше по объёму, но в 5–15 раз медленнее VRAM. (Гл. 3)
- Объединённая память (unified memory) — общий пул для CPU и GPU, как у Apple Silicon, Strix Halo и DGX Spark. Не нужно копировать веса по PCIe, но пропускная способность ниже, чем у топовых дискретных карт. (Гл. 3)
- Strix Halo — APU AMD Ryzen AI Max с 128 ГБ LPDDR5X и iGPU Radeon 8060S; 256 ГБ/с, x86, без CUDA. (Гл. «Как выбрать железо»)
- GB10 / DGX Spark — связка Grace CPU + Blackwell GPU с 128 ГБ когерентной LPDDR5X; 273 ГБ/с, CUDA, 140 Вт. (Гл. «Как выбрать железо»)
- GDDR7 — седьмое поколение графической памяти; в RTX 50-серии даёт 448–1792 ГБ/с в зависимости от шины. (Гл. 3)
- LPDDR5X — энергоэффективная память с высокой плотностью; используется в Apple Silicon, Strix Halo и DGX Spark. (Гл. 3)
- HBM — stack-память с очень высокой пропускной способностью (терабайты в секунду); стоит в серверных GPU, не в потребительских. (Гл. 3)
- TDP — тепловой пакет, Вт. Определяет требования к охлаждению, БП и шуму. (Гл. «Как выбрать железо»)
- NVLink — прямой высокоскоростной мост между GPU. У RTX 3090 и A6000 есть, у RTX 5090, RTX 6000 Ada и RTX PRO 6000 Blackwell — нет. (Гл. «Как выбрать железо»)
- PCIe-линии — сколько карт можно подключить на полной ширине. У Ryzen 9 обычно 24 usable линии, у Threadripper — 80–128, у EPYC — 128. (Гл. «Как выбрать железо»)
- ECC — коррекция ошибок памяти; есть у профессиональных карт. У AMD обычно только в Linux, у NVIDIA работает и в Windows. (Гл. «Как выбрать железо»)
- Blower — турбинный кулер, выдувающий воздух наружу; удобен для плотных многокартных сборок, но шумный. (Гл. «Как выбрать железо»)
- MSRP / уличная цена — рекомендованная цена производителя и реальная цена магазина. В 2026 году расходятся в 1,5–3 раза. (Гл. «Как выбрать железо»)
- PCIe — шина между GPU и системной памятью. 25–60 ГБ/с — в десятки раз медленнее VRAM; гонять по ней веса на каждом токене нельзя. (Гл. 3)
- Пропускная способность (bandwidth) — сколько байт в секунду можно прочитать. Определяет скорость декода. (Гл. 2)
- Задержка (latency) — время до одного ответа памяти. Важна для случайного доступа, но не заменяет пропускную способность. (Гл. 3)
- mmap — отображение файла в память: ОС подгружает страницы по мере обращения. Удобно для старта, опасно для весов, которые считаются на CPU. (Гл. 3)
- sysmem fallback — тихая выгрузка не влезшей VRAM в системную память на Windows. Причина резкого падения скорости без ошибки. (Гл. 3)
- FLOP — одна операция с плавающей точкой.
FLOP/s— производительность железа. (Гл. 2) - Арифметическая интенсивность — отношение FLOP к прочитанным байтам. У декода около
2/b, у prefill —2B/b. (Гл. 2) - Roofline — модель «упирается либо в вычисления, либо в память». Точка перелома
I* = FLOP/s ÷ пропускная способностьзависит только от железа. (Гл. 2)
Модель и архитектура
- Токен — кусок текста, единица работы модели. Не слово. (Гл. 1)
- Токенизатор — алгоритм, который режет текст на токены; чаще всего BPE (byte-pair encoding). (Гл. 1)
- Словарь (vocabulary) — набор всех токенов модели, обычно 32k–256k. (Гл. 1)
- Эмбеддинг — вектор, в который превращается токен; таблица эмбеддингов —
vocab × d_model. (Гл. 1) d_model— ширина вектора на слое.d_head— ширина одной головы attention. (Гл. 1)- Логиты — сырые числа до softmax, по одному на токен словаря. (Гл. 1)
- Softmax — превращает числа в вероятности: экспонента и нормировка на сумму. (Гл. 1, 10)
- Attention — механизм, который смешивает информацию между позициями через Q, K, V. (Гл. 1)
- Q / K / V — Query («что ищу»), Key («что предлагаю»), Value («что передаю»). (Гл. 1)
- Голова (head) — независимое подпространство attention. (Гл. 1)
- Causal mask — запрет смотреть на будущие токены. (Гл. 1)
- FFN — feed-forward network, преобразует каждую позицию отдельно; хранит большую часть знаний. (Гл. 1)
- SwiGLU — вариант FFN с «воротами» и тремя матрицами. (Гл. 1)
- LayerNorm / RMSNorm — виды нормировки; RMSNorm дешевле, без вычитания среднего. (Гл. 1)
- Остаточная связь (residual) —
x + block(x), позволяет сигналу проходить через много слоёв. (Гл. 1) - GQA — grouped-query attention: несколько Q-голов делят одну пару K/V, экономя KV-кэш. (Гл. 6)
- MQA — multi-query attention: одна KV-голова на все Q-головы. (Гл. 6)
- MLA — multi-head latent attention: сжатие K/V в латентный вектор. (Гл. 6)
- RoPE — позиционное кодирование поворотом Q и K; зависит от относительной позиции. (Гл. 6)
- YaRN — способ растянуть контекст через масштабирование частот RoPE и коррекцию attention. (Гл. 6)
- Контекстное окно — максимальная длина последовательности, которую модель обрабатывает за раз. (Гл. 6)
- KV-кэш — сохранённые K и V прошлых токенов; растёт с контекстом. (Гл. 6)
- MoE — mixture of experts: много экспертов, на токен активируется несколько. (Гл. 5)
- Эксперт — отдельный FFN в MoE. Роутер — выбирает экспертов для токена. (Гл. 5)
- Активные параметры — сколько весов читается на токен. Всего параметров — сколько хранится. (Гл. 5)
- Shared expert — эксперт, который работает для всех токенов. (Гл. 5)
- Sliding window attention (скользящее окно) — каждый токен видит только последние
Wтокенов; KV-кэш слоя не превышаетW. (Гл. 6) - Линейное внимание — замена KV-кэша состоянием фиксированного размера; в гибридных моделях чередуется со слоями полного внимания. (Гл. 6)
- Attention sinks — первые токены, на которые приходится непропорционально много внимания; StreamingLLM сохраняет их вместе со скользящим окном. (Гл. 6)
- FlashAttention — вычисление attention блоками без хранения полной матрицы «токен × токен»; экономит память и ускоряет длинный контекст. (Гл. 2)
Форматы и квантование
- safetensors — формат хранения весов без исполняемого кода; часто используется для исходных моделей. (Гл. 4)
- GGUF — контейнер llama.cpp: веса, метаданные, токенизатор, шаблон чата в одном файле. (Гл. 4)
- GGML / ggml — тензорная библиотека, на которой стоит llama.cpp, и одноимённый старый формат файлов; GGUF — его современный преемник. (Гл. 4)
- Квантование — хранение весов меньшим числом бит с масштабами на блок. (Гл. 4)
- bpw (bits per weight) — среднее число бит на вес с учётом служебных данных. (Гл. 4)
- Q4_0 — простое 4-битное блочное квантование, ~4,5 бита на вес. (Гл. 4)
- Q4_K_M — k-quants, смесь типов, ~4,8 бита на вес; универсальный выбор. (Гл. 4)
- IQ4_XS — i-quants, ~4,4–4,5 бита; часто меньше Q4_K_M при близком качестве. (Гл. 4)
- Q8_0 — 8-битное квантование, ~8,5 бита; почти без потерь. (Гл. 4)
- Imatrix — матрица важности весов по активациям; помогает низким битам. (Гл. 4)
- Суперблок — в k-quants группа из 256 весов с подблоками и сжатыми масштабами. (Гл. 4)
- Perplexity — экспонента средней отрицательной лог-вероятности текста; ниже — лучше, сравнивать только на одинаковых условиях. (Гл. 4)
- FP16 / FP8 / FP4 — форматы чисел с плавающей точкой разной точности. FP8/FP4 ускоряют prefill и батчинг на новых GPU, но для GGUF-квантов важнее байты на вес. (Гл. 2, 4)
- MXFP4 — 4-битный формат с общим масштабом на блок; используется в MLX и некоторых серверных движках. (Гл. 4)
Рантаймы и серверы
- llama.cpp — C/C++ движок инференса с GGUF, CPU/GPU-гибридом и сервером. (Гл. 3, 5)
- llama-server — HTTP-сервер из llama.cpp с OpenAI-совместимым API. (Гл. 7, 11)
- vLLM — серверный движок с PagedAttention и непрерывным батчингом. (Гл. 8)
- SGLang — серверный движок с RadixAttention и разделяемым кэшем префиксов. (Гл. 7)
- Ollama / LM Studio / Unsloth Studio — «коробки» для локального запуска: движок, реестр моделей и API в одном приложении; удобны, но меньше контроля над флагами. (Гл. «Готовые коробки»)
- Коробка (boxed solution) — приложение или сервер, который упаковывает движок, менеджер моделей, шаблоны и HTTP-API вместе с набором дефолтов. (Гл. «Готовые коробки»)
- Modelfile — рецепт модели в Ollama:
FROM,PARAMETER,TEMPLATE,SYSTEM,LICENSE. (Гл. «Готовые коробки») - Реестр моделей — встроенный каталог с тегами, квантами и шаблонами (Ollama Library, Hugging Face в LM Studio/Jan). (Гл. «Готовые коробки»)
- JIT-загрузка — загрузка модели по первому запросу, а не заранее; удобна для API, но добавляет холодный старт. (Гл. «Готовые коробки»)
- TTL / auto-evict — выгрузка простаивающей модели по таймеру и вытеснение предыдущей JIT-модели перед загрузкой новой. (Гл. «Готовые коробки»)
- Unified KV cache — общий KV-буфер на несколько параллельных запросов вместо жёсткого деления на равные слоты. (Гл. «Готовые коробки»)
- Пресет — сохранённый набор параметров загрузки и/или сэмплирования для повторного использования. (Гл. «Готовые коробки»)
- OpenAI-совместимый API — подмножество OpenAI API; набор поддержанных полей у разных коробок отличается. (Гл. «Готовые коробки», 11)
- Бэкенд — вычислительная реализация: CUDA, Metal, ROCm, Vulkan, CPU. От неё зависят скорость и поддержка квантов.
- CUDA — платформа NVIDIA; самый зрелый путь для llama.cpp, vLLM, TensorRT-LLM и Ollama. (Гл. «Как выбрать железо»)
- ROCm — открытая платформа AMD для GPU-вычислений; на Linux поддерживает Radeon AI PRO, на Windows ограничена. (Гл. «Как выбрать железо»)
- SYCL / oneAPI — модель параллельного программирования Intel; через неё llama.cpp и vLLM работают на Arc. (Гл. «Как выбрать железо»)
- Metal — графический API Apple; бэкенд llama.cpp для Mac. (Гл. «Как выбрать железо»)
- MLX — фреймворк Apple для Apple Silicon; хорошо использует объединённую память, но не является заменой CUDA-стека. (Гл. «Как выбрать железо»)
--load-mode— режим загрузки модели:auto,none,mmap,mlock,dio. Для CPU-экспертов обычно нуженnone. (Гл. 3)- Слот (
-np) — независимый контекст на сервере; каждый добавляет KV-кэш. (Гл. 8) -ngl— сколько слоёв модели держать на GPU. (Гл. 5)--n-cpu-moe— сколько слоёв экспертов MoE оставить в ОЗУ и считать на CPU. (Гл. 5)-b/-ub— логический и физический размер батча;-ubускоряет prefill и увеличивает буфер в VRAM. (Гл. 8)- Tensor / pipeline parallelism — деление матриц слоя или самих слоёв между несколькими GPU. (Гл. 8)
- Disaggregated prefill/decode — prefill и decode на разных пулах GPU. (Гл. 8)
- mmproj — отдельный GGUF-файл с vision-энкодером и проектором для VLM. (Гл. 14)
- Prompt cache — переиспользование KV для общего префикса запросов. (Гл. 7)
- PagedAttention — хранение KV блоками с таблицей страниц; меньше фрагментации. (Гл. 8)
- Непрерывный батчинг — новые запросы занимают освободившиеся слоты на каждом шаге. (Гл. 8)
- RadixAttention — кэш префиксов в radix-дереве; общие начала делят KV между запросами. (Гл. «Движки инференса»)
- HiCache — трёхуровневый кэш SGLang: GPU, host-память, внешнее хранилище. (Гл. «Движки инференса»)
- Paged Experts — выгрузка экспертов MoE в pinned host-память с копированием нужных на GPU; вычисления остаются на GPU. (Гл. «Движки инференса»)
- Chunked prefill — длинный промпт режется на куски и подмешивается к декоду, чтобы не блокировать очередь. (Гл. 8, «Движки инференса»)
- Preemption — вытеснение запроса при нехватке KV; в vLLM V1 по умолчанию с пересчётом. (Гл. «Движки инференса»)
- CUDA graphs — запись последовательности ядер и запуск её одним вызовом; ускоряет декод, но занимает память. (Гл. «Движки инференса»)
- Expert parallelism (EP) — распределение экспертов MoE между GPU. (Гл. «Движки инференса»)
- Data parallelism (DP) — несколько копий модели для пропускной способности. (Гл. «Движки инференса»)
- KV offload — вынос KV-кэша в host-память или на диск; расширяет контекст, но добавляет задержку. (Гл. «Движки инференса»)
- Unified KV — единый пул KV на все слоты llama.cpp вместо отдельного кэша на слот. (Гл. «Движки инференса»)
- Context checkpoint — сохранённое состояние контекста слота для быстрого возврата к ветке диалога. (Гл. «Движки инференса»)
- Tool parser — серверный разбор текста модели в
tool_calls. (Гл. 11, «Движки инференса») - Grammar backend — движок ограниченной генерации: XGrammar, Outlines, llguidance. (Гл. 11, «Движки инференса»)
Генерация и управление
- Prefill — параллельная обработка промпта, упирается в вычисления. (Гл. 2)
- Decode — последовательная генерация по одному токену, упирается в память. (Гл. 2)
- pp — токенов промпта в секунду. tg — токенов генерации в секунду. (Гл. 2)
- TTFT — время до первого токена. ITL — время между токенами. (Гл. 2, 12)
- Throughput — токенов в секунду на весь сервер. Latency — задержка одного запроса. (Гл. 8)
- Сэмплинг — выбор токена из распределения. (Гл. 10)
- Temperature — резкость распределения; 0 — жадный выбор. (Гл. 10)
- Top-k / top-p / min-p — способы обрезать маловероятный хвост. (Гл. 10)
- Greedy — всегда выбирать самый вероятный токен. (Гл. 10)
- Seed — зерно генератора случайных чисел; помогает воспроизводимости, но не гарантирует побитового совпадения. (Гл. 10)
- Бюджет рассуждений — ограничение на скрытые токены «размышления». (Гл. 10)
- Спекулятивное декодирование — черновик предлагает несколько токенов, целевая модель проверяет их за один проход. (Гл. 9)
- Черновик (draft) — модель или голова, предлагающая токены. (Гл. 9)
- Acceptance rate (
α) — доля принятых токенов черновика. (Гл. 9) γ— длина черновика: сколько токенов он предлагает за один цикл. (Гл. 9)- Rejection sampling — схема проверки черновика при
T > 0, сохраняющая распределение целевой модели. (Гл. 9) - MTP — multi-token prediction, дополнительные головы целевой модели. (Гл. 9)
- Medusa / EAGLE — семейства методов спекуляции с несколькими головами или признаками. В llama.cpp реализован EAGLE-3, но не Medusa/EAGLE-1/2. (Гл. 9)
- Chat template — правило превращения ролей и инструментов в текст для модели. (Гл. 11)
- Tool calling — текстовая разметка вызова инструмента плюс парсер на сервере. (Гл. 11)
- Грамматика / GBNF — ограничение допустимых токенов на каждом шаге. (Гл. 11)
- Constrained decoding (ограниченное декодирование) — генерация с маской: недопустимые по грамматике токены получают нулевую вероятность. (Гл. 11)
- Prompt injection — вредоносная инструкция внутри данных (документа, результата инструмента), которую модель принимает за команду. (Гл. 11)
- JSON Schema — описание структуры JSON, которое можно превратить в грамматику. (Гл. 11)
Большие модели на маленьком железе
- Рабочее множество (working set) — байты, которые реально читаются на один токен: активные эксперты, KV-кэш и буферы. Не то же самое, что размер файла модели. (Гл. «Большие модели на маленьком железе»)
- Эффективная пропускная способность (
B_eff) —1 / Σ(s_i / B_i), гдеs_i— доля байт с уровня памятиi. Объясняет, почему 90% попаданий в VRAM дают почти нормальную скорость, а 70% — уже нет. (Там же) - Экспертный кэш — горячие эксперты MoE в VRAM; остальные лежат в ОЗУ и считаются на CPU. (Там же; гл. 5)
- Горячие и холодные эксперты — часто и редко используемые эксперты. Адаптивный кэш определяет их по ходу работы. (Там же)
- Предсказание экспертов — загрузка экспертов заранее по истории маршрутизации или обученному предиктору. (Там же)
- Послойная загрузка (SSD-стриминг) — на GPU держится один слой, остальные читаются с диска на каждом токене. (Там же)
- Одномодельный движок — движок, оптимизированный под одну модель/карту/платформу; выигрывает в скорости, проигрывает в универсальности. (Там же)
- RPC-инференс — удалённые устройства отдают свои GPU/CPU через
ggml-rpc-server; сеть становится узким местом. (Там же) - Тернарные веса — веса {-1, 0, 1}; BitNet b1.58 требует обучения с нуля, а не квантования готовой модели. (Там же)
- AQLM — аддитивное квантование с обучаемыми кодовыми книгами, 2–3 бита; нужна калибровка. (Там же)
- HQQ — быстрое квантование без калибровочных данных, 1–8 бит; удобно для 4 бит. (Там же)
- QTIP — квантование с решётками (trellis), исследовательский метод для 2 бит. (Там же)
- Контекстная разреженность — зависящий от входа набор голов/нейронов, которые можно не считать; требует предсказателя и sparse-ядер. (Там же)
- NPU — нейронный ускоритель в SoC (AMD XDNA2, Intel AI Boost, Apple ANE). Экономит энергию и ускоряет prefill, но не заменяет пропускную способность памяти. (Там же)
- ANE — Apple Neural Engine; запускается через CoreML/ANEMLL, хорошо для небольших моделей и prefill. (Там же)
- WebGPU — браузерный API для вычислений на GPU; WebLLM запускает модель целиком в памяти вкладки. (Там же)
- Engram / n-gram таблица — огромная таблица n-gram-эмбеддингов, которую большие MoE читают с SSD по несколько строк на токен. (Там же)
- DFlash2 / DSpark — семейства маленьких черновиков для спекулятивного декодирования; DFlash2 используется в Splash/HyperQwen, DSpark — в Strata для DeepSeek. (Там же; гл. 9)
- KV offload — хранение KV-кэша в ОЗУ вместо VRAM; освобождает память, но замедляет длинный контекст. (Там же; гл. 6)
Задачи и метрики
- ASR — автоматическое распознавание речи. OCR — распознавание текста на изображениях. (Гл. 14)
- WER / CER — доля ошибок на уровне слов / символов. (Гл. 14)
- RTF — отношение времени обработки к длительности аудио. (Гл. 14)
- RAG — retrieval-augmented generation: поиск внешних фрагментов и вставка их в промпт. (Гл. 7)
- VAD — voice activity detection, выделение участков с речью перед ASR. (Гл. 14)
- VLM — vision-language model, модель с обработкой изображений. (Гл. 14)
- Recall / precision — полнота и точность; в проверке документов важны обе. (Гл. 12)
- Медиана и разброс — устойчивое «типичное» значение замера и мера его шума (стандартное отклонение, интерквартильный размах). (Гл. 12)
- Доверительный интервал — диапазон, в котором с заданной уверенностью лежит истинное значение метрики; на 5 прогонах он очень широкий. (Гл. 12)
- ГиБ / ГБ — гибибайт (2³⁰ байт) и гигабайт (10⁹ байт); 1 ГиБ ≈ 1,074 ГБ. (Соглашения в README)
- Нижняя граница (lower bound) — время, быстрее которого шаг физически невозможен при данных вычислениях и чтении; не прогноз, а предел. (Гл. 2, 12)
- MBU — нижняя граница по чтению, делённая на измеренное время шага:
T_память / T_измеренная. MFU — то же по вычислениям:T_вычисления / T_измеренная. (Гл. 12) - Эффективная пропускная способность — число правильных и вовремя завершённых задач в секунду; в отличие от throughput завершений, учитывает качество и SLO. (Гл. 8, 12)
- Закон Литтла —
N = λ × T: число запросов в системе равно интенсивности поступления, умноженной на время пребывания. (Гл. 8) b*— батч, при котором чтение KV догоняет чтение весов:b* = W / (C × k); минимальный целый — округлением вверх; дальше батч почти не снижает байты на токен. (Гл. 8)E[N]— ожидаемое число выходных токенов за раунд спекуляции, включая бонусный:(1 − α^(γ+1)) / (1 − α). (Гл. 9)- Безубыточный черновик — максимальная стоимость черновика, при которой спекуляция ещё ускоряет:
T_draft < (E[N] − 1) × T_plain. (Гл. 9)