Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

16. Глоссарий

Короткие определения терминов, которые встречаются в книге. В скобках — глава, где тема разобрана подробнее.

Железо и память

  • VRAM — видеопамять, отдельный пул на дискретной видеокарте. Самая быстрая память для весов, но её мало: 8–32 ГБ у потребительских карт, 48–96 ГБ у профессиональных. (Гл. 3)
  • ОЗУ (RAM) — системная память. Больше по объёму, но в 5–15 раз медленнее VRAM. (Гл. 3)
  • Объединённая память (unified memory) — общий пул для CPU и GPU, как у Apple Silicon, Strix Halo и DGX Spark. Не нужно копировать веса по PCIe, но пропускная способность ниже, чем у топовых дискретных карт. (Гл. 3)
  • Strix Halo — APU AMD Ryzen AI Max с 128 ГБ LPDDR5X и iGPU Radeon 8060S; 256 ГБ/с, x86, без CUDA. (Гл. «Как выбрать железо»)
  • GB10 / DGX Spark — связка Grace CPU + Blackwell GPU с 128 ГБ когерентной LPDDR5X; 273 ГБ/с, CUDA, 140 Вт. (Гл. «Как выбрать железо»)
  • GDDR7 — седьмое поколение графической памяти; в RTX 50-серии даёт 448–1792 ГБ/с в зависимости от шины. (Гл. 3)
  • LPDDR5X — энергоэффективная память с высокой плотностью; используется в Apple Silicon, Strix Halo и DGX Spark. (Гл. 3)
  • HBM — stack-память с очень высокой пропускной способностью (терабайты в секунду); стоит в серверных GPU, не в потребительских. (Гл. 3)
  • TDP — тепловой пакет, Вт. Определяет требования к охлаждению, БП и шуму. (Гл. «Как выбрать железо»)
  • NVLink — прямой высокоскоростной мост между GPU. У RTX 3090 и A6000 есть, у RTX 5090, RTX 6000 Ada и RTX PRO 6000 Blackwell — нет. (Гл. «Как выбрать железо»)
  • PCIe-линии — сколько карт можно подключить на полной ширине. У Ryzen 9 обычно 24 usable линии, у Threadripper — 80–128, у EPYC — 128. (Гл. «Как выбрать железо»)
  • ECC — коррекция ошибок памяти; есть у профессиональных карт. У AMD обычно только в Linux, у NVIDIA работает и в Windows. (Гл. «Как выбрать железо»)
  • Blower — турбинный кулер, выдувающий воздух наружу; удобен для плотных многокартных сборок, но шумный. (Гл. «Как выбрать железо»)
  • MSRP / уличная цена — рекомендованная цена производителя и реальная цена магазина. В 2026 году расходятся в 1,5–3 раза. (Гл. «Как выбрать железо»)
  • PCIe — шина между GPU и системной памятью. 25–60 ГБ/с — в десятки раз медленнее VRAM; гонять по ней веса на каждом токене нельзя. (Гл. 3)
  • Пропускная способность (bandwidth) — сколько байт в секунду можно прочитать. Определяет скорость декода. (Гл. 2)
  • Задержка (latency) — время до одного ответа памяти. Важна для случайного доступа, но не заменяет пропускную способность. (Гл. 3)
  • mmap — отображение файла в память: ОС подгружает страницы по мере обращения. Удобно для старта, опасно для весов, которые считаются на CPU. (Гл. 3)
  • sysmem fallback — тихая выгрузка не влезшей VRAM в системную память на Windows. Причина резкого падения скорости без ошибки. (Гл. 3)
  • FLOP — одна операция с плавающей точкой. FLOP/s — производительность железа. (Гл. 2)
  • Арифметическая интенсивность — отношение FLOP к прочитанным байтам. У декода около 2/b, у prefill — 2B/b. (Гл. 2)
  • Roofline — модель «упирается либо в вычисления, либо в память». Точка перелома I* = FLOP/s ÷ пропускная способность зависит только от железа. (Гл. 2)

Модель и архитектура

  • Токен — кусок текста, единица работы модели. Не слово. (Гл. 1)
  • Токенизатор — алгоритм, который режет текст на токены; чаще всего BPE (byte-pair encoding). (Гл. 1)
  • Словарь (vocabulary) — набор всех токенов модели, обычно 32k–256k. (Гл. 1)
  • Эмбеддинг — вектор, в который превращается токен; таблица эмбеддингов — vocab × d_model. (Гл. 1)
  • d_model — ширина вектора на слое. d_head — ширина одной головы attention. (Гл. 1)
  • Логиты — сырые числа до softmax, по одному на токен словаря. (Гл. 1)
  • Softmax — превращает числа в вероятности: экспонента и нормировка на сумму. (Гл. 1, 10)
  • Attention — механизм, который смешивает информацию между позициями через Q, K, V. (Гл. 1)
  • Q / K / V — Query («что ищу»), Key («что предлагаю»), Value («что передаю»). (Гл. 1)
  • Голова (head) — независимое подпространство attention. (Гл. 1)
  • Causal mask — запрет смотреть на будущие токены. (Гл. 1)
  • FFN — feed-forward network, преобразует каждую позицию отдельно; хранит большую часть знаний. (Гл. 1)
  • SwiGLU — вариант FFN с «воротами» и тремя матрицами. (Гл. 1)
  • LayerNorm / RMSNorm — виды нормировки; RMSNorm дешевле, без вычитания среднего. (Гл. 1)
  • Остаточная связь (residual) — x + block(x), позволяет сигналу проходить через много слоёв. (Гл. 1)
  • GQA — grouped-query attention: несколько Q-голов делят одну пару K/V, экономя KV-кэш. (Гл. 6)
  • MQA — multi-query attention: одна KV-голова на все Q-головы. (Гл. 6)
  • MLA — multi-head latent attention: сжатие K/V в латентный вектор. (Гл. 6)
  • RoPE — позиционное кодирование поворотом Q и K; зависит от относительной позиции. (Гл. 6)
  • YaRN — способ растянуть контекст через масштабирование частот RoPE и коррекцию attention. (Гл. 6)
  • Контекстное окно — максимальная длина последовательности, которую модель обрабатывает за раз. (Гл. 6)
  • KV-кэш — сохранённые K и V прошлых токенов; растёт с контекстом. (Гл. 6)
  • MoE — mixture of experts: много экспертов, на токен активируется несколько. (Гл. 5)
  • Эксперт — отдельный FFN в MoE. Роутер — выбирает экспертов для токена. (Гл. 5)
  • Активные параметры — сколько весов читается на токен. Всего параметров — сколько хранится. (Гл. 5)
  • Shared expert — эксперт, который работает для всех токенов. (Гл. 5)
  • Sliding window attention (скользящее окно) — каждый токен видит только последние W токенов; KV-кэш слоя не превышает W. (Гл. 6)
  • Линейное внимание — замена KV-кэша состоянием фиксированного размера; в гибридных моделях чередуется со слоями полного внимания. (Гл. 6)
  • Attention sinks — первые токены, на которые приходится непропорционально много внимания; StreamingLLM сохраняет их вместе со скользящим окном. (Гл. 6)
  • FlashAttention — вычисление attention блоками без хранения полной матрицы «токен × токен»; экономит память и ускоряет длинный контекст. (Гл. 2)

Форматы и квантование

  • safetensors — формат хранения весов без исполняемого кода; часто используется для исходных моделей. (Гл. 4)
  • GGUF — контейнер llama.cpp: веса, метаданные, токенизатор, шаблон чата в одном файле. (Гл. 4)
  • GGML / ggml — тензорная библиотека, на которой стоит llama.cpp, и одноимённый старый формат файлов; GGUF — его современный преемник. (Гл. 4)
  • Квантование — хранение весов меньшим числом бит с масштабами на блок. (Гл. 4)
  • bpw (bits per weight) — среднее число бит на вес с учётом служебных данных. (Гл. 4)
  • Q4_0 — простое 4-битное блочное квантование, ~4,5 бита на вес. (Гл. 4)
  • Q4_K_M — k-quants, смесь типов, ~4,8 бита на вес; универсальный выбор. (Гл. 4)
  • IQ4_XS — i-quants, ~4,4–4,5 бита; часто меньше Q4_K_M при близком качестве. (Гл. 4)
  • Q8_0 — 8-битное квантование, ~8,5 бита; почти без потерь. (Гл. 4)
  • Imatrix — матрица важности весов по активациям; помогает низким битам. (Гл. 4)
  • Суперблок — в k-quants группа из 256 весов с подблоками и сжатыми масштабами. (Гл. 4)
  • Perplexity — экспонента средней отрицательной лог-вероятности текста; ниже — лучше, сравнивать только на одинаковых условиях. (Гл. 4)
  • FP16 / FP8 / FP4 — форматы чисел с плавающей точкой разной точности. FP8/FP4 ускоряют prefill и батчинг на новых GPU, но для GGUF-квантов важнее байты на вес. (Гл. 2, 4)
  • MXFP4 — 4-битный формат с общим масштабом на блок; используется в MLX и некоторых серверных движках. (Гл. 4)

Рантаймы и серверы

  • llama.cpp — C/C++ движок инференса с GGUF, CPU/GPU-гибридом и сервером. (Гл. 3, 5)
  • llama-server — HTTP-сервер из llama.cpp с OpenAI-совместимым API. (Гл. 7, 11)
  • vLLM — серверный движок с PagedAttention и непрерывным батчингом. (Гл. 8)
  • SGLang — серверный движок с RadixAttention и разделяемым кэшем префиксов. (Гл. 7)
  • Ollama / LM Studio / Unsloth Studio — «коробки» для локального запуска: движок, реестр моделей и API в одном приложении; удобны, но меньше контроля над флагами. (Гл. «Готовые коробки»)
  • Коробка (boxed solution) — приложение или сервер, который упаковывает движок, менеджер моделей, шаблоны и HTTP-API вместе с набором дефолтов. (Гл. «Готовые коробки»)
  • Modelfile — рецепт модели в Ollama: FROM, PARAMETER, TEMPLATE, SYSTEM, LICENSE. (Гл. «Готовые коробки»)
  • Реестр моделей — встроенный каталог с тегами, квантами и шаблонами (Ollama Library, Hugging Face в LM Studio/Jan). (Гл. «Готовые коробки»)
  • JIT-загрузка — загрузка модели по первому запросу, а не заранее; удобна для API, но добавляет холодный старт. (Гл. «Готовые коробки»)
  • TTL / auto-evict — выгрузка простаивающей модели по таймеру и вытеснение предыдущей JIT-модели перед загрузкой новой. (Гл. «Готовые коробки»)
  • Unified KV cache — общий KV-буфер на несколько параллельных запросов вместо жёсткого деления на равные слоты. (Гл. «Готовые коробки»)
  • Пресет — сохранённый набор параметров загрузки и/или сэмплирования для повторного использования. (Гл. «Готовые коробки»)
  • OpenAI-совместимый API — подмножество OpenAI API; набор поддержанных полей у разных коробок отличается. (Гл. «Готовые коробки», 11)
  • Бэкенд — вычислительная реализация: CUDA, Metal, ROCm, Vulkan, CPU. От неё зависят скорость и поддержка квантов.
  • CUDA — платформа NVIDIA; самый зрелый путь для llama.cpp, vLLM, TensorRT-LLM и Ollama. (Гл. «Как выбрать железо»)
  • ROCm — открытая платформа AMD для GPU-вычислений; на Linux поддерживает Radeon AI PRO, на Windows ограничена. (Гл. «Как выбрать железо»)
  • SYCL / oneAPI — модель параллельного программирования Intel; через неё llama.cpp и vLLM работают на Arc. (Гл. «Как выбрать железо»)
  • Metal — графический API Apple; бэкенд llama.cpp для Mac. (Гл. «Как выбрать железо»)
  • MLX — фреймворк Apple для Apple Silicon; хорошо использует объединённую память, но не является заменой CUDA-стека. (Гл. «Как выбрать железо»)
  • --load-mode — режим загрузки модели: auto, none, mmap, mlock, dio. Для CPU-экспертов обычно нужен none. (Гл. 3)
  • Слот (-np) — независимый контекст на сервере; каждый добавляет KV-кэш. (Гл. 8)
  • -ngl — сколько слоёв модели держать на GPU. (Гл. 5)
  • --n-cpu-moe — сколько слоёв экспертов MoE оставить в ОЗУ и считать на CPU. (Гл. 5)
  • -b / -ub — логический и физический размер батча; -ub ускоряет prefill и увеличивает буфер в VRAM. (Гл. 8)
  • Tensor / pipeline parallelism — деление матриц слоя или самих слоёв между несколькими GPU. (Гл. 8)
  • Disaggregated prefill/decode — prefill и decode на разных пулах GPU. (Гл. 8)
  • mmproj — отдельный GGUF-файл с vision-энкодером и проектором для VLM. (Гл. 14)
  • Prompt cache — переиспользование KV для общего префикса запросов. (Гл. 7)
  • PagedAttention — хранение KV блоками с таблицей страниц; меньше фрагментации. (Гл. 8)
  • Непрерывный батчинг — новые запросы занимают освободившиеся слоты на каждом шаге. (Гл. 8)
  • RadixAttention — кэш префиксов в radix-дереве; общие начала делят KV между запросами. (Гл. «Движки инференса»)
  • HiCache — трёхуровневый кэш SGLang: GPU, host-память, внешнее хранилище. (Гл. «Движки инференса»)
  • Paged Experts — выгрузка экспертов MoE в pinned host-память с копированием нужных на GPU; вычисления остаются на GPU. (Гл. «Движки инференса»)
  • Chunked prefill — длинный промпт режется на куски и подмешивается к декоду, чтобы не блокировать очередь. (Гл. 8, «Движки инференса»)
  • Preemption — вытеснение запроса при нехватке KV; в vLLM V1 по умолчанию с пересчётом. (Гл. «Движки инференса»)
  • CUDA graphs — запись последовательности ядер и запуск её одним вызовом; ускоряет декод, но занимает память. (Гл. «Движки инференса»)
  • Expert parallelism (EP) — распределение экспертов MoE между GPU. (Гл. «Движки инференса»)
  • Data parallelism (DP) — несколько копий модели для пропускной способности. (Гл. «Движки инференса»)
  • KV offload — вынос KV-кэша в host-память или на диск; расширяет контекст, но добавляет задержку. (Гл. «Движки инференса»)
  • Unified KV — единый пул KV на все слоты llama.cpp вместо отдельного кэша на слот. (Гл. «Движки инференса»)
  • Context checkpoint — сохранённое состояние контекста слота для быстрого возврата к ветке диалога. (Гл. «Движки инференса»)
  • Tool parser — серверный разбор текста модели в tool_calls. (Гл. 11, «Движки инференса»)
  • Grammar backend — движок ограниченной генерации: XGrammar, Outlines, llguidance. (Гл. 11, «Движки инференса»)

Генерация и управление

  • Prefill — параллельная обработка промпта, упирается в вычисления. (Гл. 2)
  • Decode — последовательная генерация по одному токену, упирается в память. (Гл. 2)
  • pp — токенов промпта в секунду. tg — токенов генерации в секунду. (Гл. 2)
  • TTFT — время до первого токена. ITL — время между токенами. (Гл. 2, 12)
  • Throughput — токенов в секунду на весь сервер. Latency — задержка одного запроса. (Гл. 8)
  • Сэмплинг — выбор токена из распределения. (Гл. 10)
  • Temperature — резкость распределения; 0 — жадный выбор. (Гл. 10)
  • Top-k / top-p / min-p — способы обрезать маловероятный хвост. (Гл. 10)
  • Greedy — всегда выбирать самый вероятный токен. (Гл. 10)
  • Seed — зерно генератора случайных чисел; помогает воспроизводимости, но не гарантирует побитового совпадения. (Гл. 10)
  • Бюджет рассуждений — ограничение на скрытые токены «размышления». (Гл. 10)
  • Спекулятивное декодирование — черновик предлагает несколько токенов, целевая модель проверяет их за один проход. (Гл. 9)
  • Черновик (draft) — модель или голова, предлагающая токены. (Гл. 9)
  • Acceptance rate (α) — доля принятых токенов черновика. (Гл. 9)
  • γ — длина черновика: сколько токенов он предлагает за один цикл. (Гл. 9)
  • Rejection sampling — схема проверки черновика при T > 0, сохраняющая распределение целевой модели. (Гл. 9)
  • MTP — multi-token prediction, дополнительные головы целевой модели. (Гл. 9)
  • Medusa / EAGLE — семейства методов спекуляции с несколькими головами или признаками. В llama.cpp реализован EAGLE-3, но не Medusa/EAGLE-1/2. (Гл. 9)
  • Chat template — правило превращения ролей и инструментов в текст для модели. (Гл. 11)
  • Tool calling — текстовая разметка вызова инструмента плюс парсер на сервере. (Гл. 11)
  • Грамматика / GBNF — ограничение допустимых токенов на каждом шаге. (Гл. 11)
  • Constrained decoding (ограниченное декодирование) — генерация с маской: недопустимые по грамматике токены получают нулевую вероятность. (Гл. 11)
  • Prompt injection — вредоносная инструкция внутри данных (документа, результата инструмента), которую модель принимает за команду. (Гл. 11)
  • JSON Schema — описание структуры JSON, которое можно превратить в грамматику. (Гл. 11)

Большие модели на маленьком железе

  • Рабочее множество (working set) — байты, которые реально читаются на один токен: активные эксперты, KV-кэш и буферы. Не то же самое, что размер файла модели. (Гл. «Большие модели на маленьком железе»)
  • Эффективная пропускная способность (B_eff) — 1 / Σ(s_i / B_i), где s_i — доля байт с уровня памяти i. Объясняет, почему 90% попаданий в VRAM дают почти нормальную скорость, а 70% — уже нет. (Там же)
  • Экспертный кэш — горячие эксперты MoE в VRAM; остальные лежат в ОЗУ и считаются на CPU. (Там же; гл. 5)
  • Горячие и холодные эксперты — часто и редко используемые эксперты. Адаптивный кэш определяет их по ходу работы. (Там же)
  • Предсказание экспертов — загрузка экспертов заранее по истории маршрутизации или обученному предиктору. (Там же)
  • Послойная загрузка (SSD-стриминг) — на GPU держится один слой, остальные читаются с диска на каждом токене. (Там же)
  • Одномодельный движок — движок, оптимизированный под одну модель/карту/платформу; выигрывает в скорости, проигрывает в универсальности. (Там же)
  • RPC-инференс — удалённые устройства отдают свои GPU/CPU через ggml-rpc-server; сеть становится узким местом. (Там же)
  • Тернарные веса — веса {-1, 0, 1}; BitNet b1.58 требует обучения с нуля, а не квантования готовой модели. (Там же)
  • AQLM — аддитивное квантование с обучаемыми кодовыми книгами, 2–3 бита; нужна калибровка. (Там же)
  • HQQ — быстрое квантование без калибровочных данных, 1–8 бит; удобно для 4 бит. (Там же)
  • QTIP — квантование с решётками (trellis), исследовательский метод для 2 бит. (Там же)
  • Контекстная разреженность — зависящий от входа набор голов/нейронов, которые можно не считать; требует предсказателя и sparse-ядер. (Там же)
  • NPU — нейронный ускоритель в SoC (AMD XDNA2, Intel AI Boost, Apple ANE). Экономит энергию и ускоряет prefill, но не заменяет пропускную способность памяти. (Там же)
  • ANE — Apple Neural Engine; запускается через CoreML/ANEMLL, хорошо для небольших моделей и prefill. (Там же)
  • WebGPU — браузерный API для вычислений на GPU; WebLLM запускает модель целиком в памяти вкладки. (Там же)
  • Engram / n-gram таблица — огромная таблица n-gram-эмбеддингов, которую большие MoE читают с SSD по несколько строк на токен. (Там же)
  • DFlash2 / DSpark — семейства маленьких черновиков для спекулятивного декодирования; DFlash2 используется в Splash/HyperQwen, DSpark — в Strata для DeepSeek. (Там же; гл. 9)
  • KV offload — хранение KV-кэша в ОЗУ вместо VRAM; освобождает память, но замедляет длинный контекст. (Там же; гл. 6)

Задачи и метрики

  • ASR — автоматическое распознавание речи. OCR — распознавание текста на изображениях. (Гл. 14)
  • WER / CER — доля ошибок на уровне слов / символов. (Гл. 14)
  • RTF — отношение времени обработки к длительности аудио. (Гл. 14)
  • RAG — retrieval-augmented generation: поиск внешних фрагментов и вставка их в промпт. (Гл. 7)
  • VAD — voice activity detection, выделение участков с речью перед ASR. (Гл. 14)
  • VLM — vision-language model, модель с обработкой изображений. (Гл. 14)
  • Recall / precision — полнота и точность; в проверке документов важны обе. (Гл. 12)
  • Медиана и разброс — устойчивое «типичное» значение замера и мера его шума (стандартное отклонение, интерквартильный размах). (Гл. 12)
  • Доверительный интервал — диапазон, в котором с заданной уверенностью лежит истинное значение метрики; на 5 прогонах он очень широкий. (Гл. 12)
  • ГиБ / ГБ — гибибайт (2³⁰ байт) и гигабайт (10⁹ байт); 1 ГиБ ≈ 1,074 ГБ. (Соглашения в README)
  • Нижняя граница (lower bound) — время, быстрее которого шаг физически невозможен при данных вычислениях и чтении; не прогноз, а предел. (Гл. 2, 12)
  • MBU — нижняя граница по чтению, делённая на измеренное время шага: T_память / T_измеренная. MFU — то же по вычислениям: T_вычисления / T_измеренная. (Гл. 12)
  • Эффективная пропускная способность — число правильных и вовремя завершённых задач в секунду; в отличие от throughput завершений, учитывает качество и SLO. (Гл. 8, 12)
  • Закон Литтла — N = λ × T: число запросов в системе равно интенсивности поступления, умноженной на время пребывания. (Гл. 8)
  • b* — батч, при котором чтение KV догоняет чтение весов: b* = W / (C × k); минимальный целый — округлением вверх; дальше батч почти не снижает байты на токен. (Гл. 8)
  • E[N] — ожидаемое число выходных токенов за раунд спекуляции, включая бонусный: (1 − α^(γ+1)) / (1 − α). (Гл. 9)
  • Безубыточный черновик — максимальная стоимость черновика, при которой спекуляция ещё ускоряет: T_draft < (E[N] − 1) × T_plain. (Гл. 9)