Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Локальный инференс LLM: от понятий до тюнинга на своём ПК

Эта книга — самостоятельный курс о том, как большая языковая модель (LLM) работает на обычном компьютере: что происходит внутри, почему генерация упирается в память, как квантование и MoE позволяют запустить 30–70-миллиардную модель на потребительской видеокарте и как всё это измерить, чтобы не обмануть себя.

Она не привязана к конкретному проекту, фреймворку или модели. Примеры — учебные: «карта на 16 ГБ», «модель на 35 млрд параметров», «Mac с объединённой памятью». Числа в расчётах взяты типичные и явно помечены как пример, если это не свойство стандарта или документации.

Для кого

  • Вы умеете запускать llama-server или Ollama, но хотите понимать, что означают флаги и почему скорость именно такая.
  • Вы читаете карточки моделей и бенчмарки, но не понимаете, какие цифры относятся к вам.
  • Вы хотите сами подобрать квант, контекст и конфигурацию под своё железо, а не повторять чужие команды.

Предполагается базовое знакомство с Python и матричным умножением. Всё остальное объясняется по ходу.

Как читать

Книга устроена как последовательность: первые восемь глав дают модель мышления, без которой тюнинг превращается в перебор флагов; главы 9–11 — про ускорение и управление генерацией; главы 12–13 — про измерения и выбор модели; 14 — коротко про речь и OCR; 15 — куда двигаться дальше.

Карта книги

Стрелка A → B означает, что глава B опирается на главу A: перед главой полезно прочитать те, из которых в неё входят стрелки.

flowchart LR
    C1["1. Токены<br/>и трансформер"] --> C2["2. Prefill и decode,<br/>roofline"]
    C2 --> C3["3. Иерархия памяти"]
    C2 --> C4["4. Квантование"]
    C1 --> C6["6. KV-кэш<br/>и контекст"]
    C2 --> C6
    C3 --> C5["5. MoE и выгрузка"]
    C4 --> C5
    C6 --> C7["7. Кэш промпта"]
    C6 --> C8["8. Батчинг и слоты"]
    C5 --> C8
    C2 --> C9["9. Спекулятивное<br/>декодирование"]
    C5 --> C9
    C1 --> C10["10. Сэмплинг<br/>и рассуждения"]
    C10 --> C11["11. Tool calling"]
    C7 --> C11
    C3 --> C12["12. Методика<br/>бенчмарка"]
    C4 --> C12
    C6 --> C12
    C12 --> C13["13. Выбор модели"]
    C5 --> C13
    C3 --> C14["14. Речь и OCR"]
    C13 --> C15["15. Куда расти"]
    C11 --> C15
    C14 --> C15

Три маршрута

МаршрутГлавыКому
Быстро1, 2, 4, 6, 12Понять, почему медленно, и начать мерить. Хватит выходных.
Практик1–6, 8, 12, 13, затем 7, 9, 11 по задачеПодобрать модель, квант и флаги под своё железо; агентам — обязательно 7 и 11.
Подробновсе по порядку + источникиРазобраться в устройстве и литературе.

Если торопитесь, в каждой главе можно прочитать только блок «За 30 секунд» и «Ключевые идеи» — получится конспект всей книги на 15 минут.

Что есть в каждой главе

  • За 30 секунд — 3–4 главные мысли в самом начале;
  • Посчитай сам — небольшая задача с разобранным решением (раскрывается по клику);
  • выноски-алерты GitHub (Note, Tip, Warning) — частые ошибки и практические советы; на сайте они оформлены так же, как на GitHub;
  • Ключевые идеи — что забрать с собой;
  • Проверь себя — 3–5 вопросов, ответы в конце главы;
  • Источники главы — что читать дальше и зачем.

Схемы нарисованы в Mermaid прямо в тексте. Графики лежат в figures/ и построены скриптами из figures/src/ — только по формулам книги, без замеров; пересобрать их можно командой MPLBACKEND=Agg python3 -I figures/src/build_all.py (нужен matplotlib).

Полная аннотированная библиография — в sources.md, краткие определения терминов — в глоссарии.

Оглавление

  1. Токены, эмбеддинги и трансформер на пальцах
  2. Prefill и decode: почему генерация упирается в память
  3. Иерархия памяти: VRAM, PCIe, ОЗУ, диск и mmap
  4. Квантование весов: GGUF, k-quants, imatrix
  5. MoE: эксперты, роутинг и выгрузка в ОЗУ
  6. KV-кэш, контекстное окно и позиционные кодировки
  7. Кэш промпта и агентские нагрузки
  8. Батчинг, слоты и PagedAttention
  9. Спекулятивное декодирование: черновик, MTP, acceptance rate
  10. Сэмплинг, температура и бюджет рассуждений
  11. Вызов инструментов: шаблоны чата, грамматики, JSON Schema
  12. Методика бенчмарка и тюнинга
  13. Выбор модели под железо
  14. Речь и OCR локально
  15. Куда расти

Приложения: Глоссарий — короткие определения всех терминов; Частые заблуждения — каталог по симптомам; Порядок анализа — шпаргалка на один экран.

Соглашения

  • ГиБ — гибибайты (1 ГиБ = 1,0737 ГБ), ГБ — десятичные. В формулах памяти удобнее ГиБ, в размерах файлов производители часто пишут ГБ.
  • ток/с — токенов в секунду; pp (prompt processing) — обработка промпта, tg (text generation) — генерация.
  • Q4_K_M, IQ4_XS, UD-Q4_K_M — названия квантов GGUF; разбираются в главе 4.
  • Пометка [пример] означает вымышленные, но правдоподобные числа для иллюстрации; [оценка] — расчёт по формуле, а не измерение. Подпись «Расчёт» на графике означает то же самое.
  • Все ссылки проверены на момент написания. Если источник самозаявленный (карточка модели, блог вендора), это сказано явно.

Чего здесь нет

  • Обучения моделей с нуля и тонкой настройки: книга про инференс.
  • Сравнения «какая модель самая умная»: такого универсального ответа нет, а глава 13 объясняет почему.
  • Готовых конфигов под конкретную видеокарту: их надо подбирать по методике из главы 12.