Локальный инференс LLM: от понятий до тюнинга на своём ПК
Эта книга — самостоятельный курс о том, как большая языковая модель (LLM) работает на обычном компьютере: что происходит внутри, почему генерация упирается в память, как квантование и MoE позволяют запустить 30–70-миллиардную модель на потребительской видеокарте и как всё это измерить, чтобы не обмануть себя.
Она не привязана к конкретному проекту, фреймворку или модели. Примеры — учебные: «карта на 16 ГБ», «модель на 35 млрд параметров», «Mac с объединённой памятью». Числа в расчётах взяты типичные и явно помечены как пример, если это не свойство стандарта или документации.
Для кого
- Вы умеете запускать
llama-serverили Ollama, но хотите понимать, что означают флаги и почему скорость именно такая. - Вы читаете карточки моделей и бенчмарки, но не понимаете, какие цифры относятся к вам.
- Вы хотите сами подобрать квант, контекст и конфигурацию под своё железо, а не повторять чужие команды.
Предполагается базовое знакомство с Python и матричным умножением. Всё остальное объясняется по ходу.
Как читать
Книга устроена как последовательность: первые восемь глав дают модель мышления, без которой тюнинг превращается в перебор флагов; главы 9–11 — про ускорение и управление генерацией; главы 12–13 — про измерения и выбор модели; 14 — коротко про речь и OCR; 15 — куда двигаться дальше.
Карта книги
Стрелка A → B означает, что глава B опирается на главу A: перед главой полезно прочитать те, из которых в неё входят стрелки.
flowchart LR
C1["1. Токены<br/>и трансформер"] --> C2["2. Prefill и decode,<br/>roofline"]
C2 --> C3["3. Иерархия памяти"]
C2 --> C4["4. Квантование"]
C1 --> C6["6. KV-кэш<br/>и контекст"]
C2 --> C6
C3 --> C5["5. MoE и выгрузка"]
C4 --> C5
C6 --> C7["7. Кэш промпта"]
C6 --> C8["8. Батчинг и слоты"]
C5 --> C8
C2 --> C9["9. Спекулятивное<br/>декодирование"]
C5 --> C9
C1 --> C10["10. Сэмплинг<br/>и рассуждения"]
C10 --> C11["11. Tool calling"]
C7 --> C11
C3 --> C12["12. Методика<br/>бенчмарка"]
C4 --> C12
C6 --> C12
C12 --> C13["13. Выбор модели"]
C5 --> C13
C3 --> C14["14. Речь и OCR"]
C13 --> C15["15. Куда расти"]
C11 --> C15
C14 --> C15
Три маршрута
| Маршрут | Главы | Кому |
|---|---|---|
| Быстро | 1, 2, 4, 6, 12 | Понять, почему медленно, и начать мерить. Хватит выходных. |
| Практик | 1–6, 8, 12, 13, затем 7, 9, 11 по задаче | Подобрать модель, квант и флаги под своё железо; агентам — обязательно 7 и 11. |
| Подробно | все по порядку + источники | Разобраться в устройстве и литературе. |
Если торопитесь, в каждой главе можно прочитать только блок «За 30 секунд» и «Ключевые идеи» — получится конспект всей книги на 15 минут.
Что есть в каждой главе
- За 30 секунд — 3–4 главные мысли в самом начале;
- Посчитай сам — небольшая задача с разобранным решением (раскрывается по клику);
- выноски-алерты GitHub (Note, Tip, Warning) — частые ошибки и практические советы; на сайте они оформлены так же, как на GitHub;
- Ключевые идеи — что забрать с собой;
- Проверь себя — 3–5 вопросов, ответы в конце главы;
- Источники главы — что читать дальше и зачем.
Схемы нарисованы в Mermaid прямо в тексте. Графики лежат в figures/ и построены скриптами из figures/src/ — только по формулам книги, без замеров; пересобрать их можно командой MPLBACKEND=Agg python3 -I figures/src/build_all.py (нужен matplotlib).
Полная аннотированная библиография — в sources.md, краткие определения терминов — в глоссарии.
Оглавление
- Токены, эмбеддинги и трансформер на пальцах
- Prefill и decode: почему генерация упирается в память
- Иерархия памяти: VRAM, PCIe, ОЗУ, диск и mmap
- Квантование весов: GGUF, k-quants, imatrix
- MoE: эксперты, роутинг и выгрузка в ОЗУ
- KV-кэш, контекстное окно и позиционные кодировки
- Кэш промпта и агентские нагрузки
- Батчинг, слоты и PagedAttention
- Спекулятивное декодирование: черновик, MTP, acceptance rate
- Сэмплинг, температура и бюджет рассуждений
- Вызов инструментов: шаблоны чата, грамматики, JSON Schema
- Методика бенчмарка и тюнинга
- Выбор модели под железо
- Речь и OCR локально
- Куда расти
Приложения: Глоссарий — короткие определения всех терминов; Частые заблуждения — каталог по симптомам; Порядок анализа — шпаргалка на один экран.
Соглашения
- ГиБ — гибибайты (1 ГиБ = 1,0737 ГБ), ГБ — десятичные. В формулах памяти удобнее ГиБ, в размерах файлов производители часто пишут ГБ.
- ток/с — токенов в секунду; pp (prompt processing) — обработка промпта, tg (text generation) — генерация.
- Q4_K_M, IQ4_XS, UD-Q4_K_M — названия квантов GGUF; разбираются в главе 4.
- Пометка [пример] означает вымышленные, но правдоподобные числа для иллюстрации; [оценка] — расчёт по формуле, а не измерение. Подпись «Расчёт» на графике означает то же самое.
- Все ссылки проверены на момент написания. Если источник самозаявленный (карточка модели, блог вендора), это сказано явно.
Чего здесь нет
- Обучения моделей с нуля и тонкой настройки: книга про инференс.
- Сравнения «какая модель самая умная»: такого универсального ответа нет, а глава 13 объясняет почему.
- Готовых конфигов под конкретную видеокарту: их надо подбирать по методике из главы 12.