Источники
Аннотированная библиография книги. Ссылки проверены на момент написания: для статей — через arXiv, для курсов и документации — через HTTP-доступ, для видео — через YouTube oEmbed (название и канал). Где источник самозаявленный (карточка модели, блог вендора, документация проекта), это указано.
Уровни:
- новичок — можно читать без специальной подготовки;
- средний — нужно понимать трансформеры и базовую математику;
- продвинутый — нужны системы, CUDA или глубокое знание архитектур.
Курсы
- Stanford CS336: Language Modeling from Scratch — Stanford, 2024–2026. stanford-cs336.github.io. Уровень: продвинутый. Зачем: полный путь от токенизации и трансформера до обучения и масштабирования; задания заставляют писать код, а не только читать.
- Stanford CS224n: Natural Language Processing with Deep Learning — Stanford, 2024–2025. web.stanford.edu/class/cs224n. Уровень: средний. Зачем: классический курс по NLP и трансформерам; полезен для понимания attention и эмбеддингов.
- CMU 11-868: Large Language Model Systems — Lei Li, CMU, Fall 2026. llmsystem.github.io. Уровень: продвинутый. Зачем: GPU-программирование, kernels, serving, quantization, paged attention; ближе всего к теме этой книги.
- MIT 6.5940: TinyML and Efficient Deep Learning Computing — Song Han, MIT, Fall 2024. hanlab.mit.edu. Уровень: продвинутый. Зачем: эффективные модели, квантование, pruning, ускорение inference.
- Hugging Face LLM Course — Hugging Face, постоянно обновляется. huggingface.co/learn/llm-course. Уровень: новичок. Зачем: практическое введение в модели, токенизаторы и fine-tuning.
- Hugging Face Agents Course — Hugging Face, 2025. huggingface.co/learn/agents-course. Уровень: средний. Зачем: практика агентов, инструментов и оркестрации.
Книги
- Dive into Deep Learning — Aston Zhang, Zachary Lipton, Mu Li, Alex Smola, 2023. d2l.ai. Уровень: новичок–средний. Зачем: бесплатный учебник с кодом; главы про attention и трансформеры хорошо дополняют главу 1.
- Speech and Language Processing (3-е изд., черновик) — Daniel Jurafsky, James Martin, 2024–2026. web.stanford.edu/~jurafsky/slp3. Уровень: средний. Зачем: фундаментальный учебник по NLP; разделы про языковые модели и decoding.
- Deep Learning — Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016. deeplearningbook.org. Уровень: средний–продвинутый. Зачем: база по нейросетям, оптимизации и представлениям; местами устарела, но фундамент хороший.
- The Little Book of Deep Learning — François Fleuret, 2023. PDF. Уровень: новичок. Зачем: короткое и плотное введение; хороший «освежитель» перед курсом.
- Build a Large Language Model (From Scratch) — Sebastian Raschka, Manning, 2024. manning.com. Уровень: средний. Зачем: пошаговая реализация GPT; связывает теорию с кодом.
- Hands-On Large Language Models — Jay Alammar, Maarten Grootendorst, O'Reilly, 2024. O'Reilly. Уровень: новичок–средний. Зачем: визуальное введение в LLM и практические примеры; страница может требовать подписки.
- AI Engineering — Chip Huyen, O'Reilly, 2025. huyenchip.com/books. Уровень: средний. Зачем: как строить приложения на моделях: оценка, RAG, агенты, эксплуатация.
- Designing Machine Learning Systems — Chip Huyen, O'Reilly, 2022. huyenchip.com/books. Уровень: средний. Зачем: системное мышление про данные, деплой и мониторинг; полезно для серверной части.
- «AI Infra in Depth: Quantitative Analysis and System Design» — Bojie Li (Боцзе Ли), 2026, Apache-2.0. GitHub. Уровень: продвинутый. Зачем: следующий уровень после одного ПК — количественные оценки памяти и roofline, батчинг и KV, несколько GPU и сеть, распределённый инференс, обучение. Из неё адаптированы §12.7, приложения о заблуждениях и порядке анализа, метрики TTFT/ITL, закон Литтла,
b*,E[N]и безубыточный черновик. - «AI-инфраструктура изнутри» — русский перевод community edition, организатор @ilkruglov, Apache-2.0. GitHub. Уровень: продвинутый. Зачем: тот же текст с сохранённой нумерацией глав и разделов; использован для сверки терминов и цитат. Неофициальное издание сообщества, не замена авторской редактуре.
- «Designing AI Infra» (скилл) — @ilkruglov, Apache-2.0. GitHub. Уровень: продвинутый. Зачем: каталог заблуждений, шпаргалка порядка анализа и плейбук диагностики сервинга; послужили основой для приложений и §12.7, пересказаны и пересчитаны под локальный масштаб.
Архитектура и основы
- «Attention Is All You Need» — Vaswani et al., 2017. arXiv:1706.03762. Уровень: средний. Зачем: первоисточник трансформера; читать после главы 1.
- «The Transformer Family Version 2.0» — Lilian Weng, 2023. lilianweng.github.io. Уровень: средний. Зачем: обзор вариантов attention, нормализаций и позиционных кодировок.
- «Attention? Attention!» — Lilian Weng, 2018. lilianweng.github.io. Уровень: новичок–средний. Зачем: интуиция attention до погружения в формулы.
- «Transformers, the tech behind LLMs» (Deep Learning, глава 5) — 3Blue1Brown, 2024. YouTube. Уровень: новичок. Зачем: визуальное объяснение архитектуры.
- «Attention in transformers, step-by-step» (глава 6) — 3Blue1Brown, 2024. YouTube. Уровень: новичок. Зачем: пошаговая визуализация attention.
- «Let's build GPT: from scratch, in code, spelled out» — Andrej Karpathy, 2023. YouTube. Уровень: средний. Зачем: лучший переход от формул к коду.
- «Let's reproduce GPT-2 (124M)» — Andrej Karpathy, 2024. YouTube. Уровень: средний–продвинутый. Зачем: обучение и генерация реальной модели, оптимизации.
- «Deep Dive into LLMs like ChatGPT» — Andrej Karpathy, 2025. YouTube. Уровень: новичок–средний. Зачем: общая картина обучения и инференса без кода.
- «Intro to Large Language Models» — Andrej Karpathy, 2023. YouTube. Уровень: новичок. Зачем: короткое введение в LLM.
- «Neural Networks: Zero to Hero» — Andrej Karpathy, 2022–2024. плейлист. Уровень: новичок–средний. Зачем: от backprop до GPT, последовательно.
- «Coding LLaMA 2 from scratch in PyTorch» — Umar Jamil, 2023. YouTube. Уровень: средний. Зачем: KV-кэш, RoPE, GQA и сэмплинг в коде.
- «Flash Attention derived and coded from first principles with Triton» — Umar Jamil, 2024. YouTube. Уровень: продвинутый. Зачем: IO-aware attention и Triton-кернел шаг за шагом.
- nanoGPT — Andrej Karpathy, 2022–2024. GitHub. Уровень: средний. Зачем: минимальная кодовая база для экспериментов с GPT.
- llm.c — Andrej Karpathy, 2024. GitHub. Уровень: продвинутый. Зачем: обучение LLM на C/CUDA; полезно для понимания низкого уровня.
Производительность, память, roofline
- «Efficiently Scaling Transformer Inference» — Pope et al., 2022. arXiv:2211.05102. Уровень: продвинутый. Зачем: формальный анализ памяти, вычислений и батчинга.
- «Making Deep Learning Go Brrrr From First Principles» — Horace He, 2022. horace.io. Уровень: средний. Зачем: compute-bound vs memory-bound на пальцах.
- «Transformer Inference Arithmetic» — kipply, 2022. kipp.ly. Уровень: средний–продвинутый. Зачем: детальные расчёты FLOPs, байт и задержек.
- «LLM Inference Performance Engineering: Best Practices» — Databricks, 2023. блог. Уровень: средний. Зачем: метрики TTFT/ITL и практика продакшена.
- «What Every Programmer Should Know About Memory» — Ulrich Drepper, 2007. PDF. Уровень: продвинутый. Зачем: классика про кэши, задержки и пропускную способность.
- «LLM in a flash» — Alizadeh et al., 2023. arXiv:2312.11514. Уровень: продвинутый. Зачем: выгрузка весов на флеш-память и цена чтения с диска.
- NVIDIA H100 — NVIDIA. nvidia.com. Уровень: справка. Зачем: пример спецификации HBM (3,35 ТБ/с у SXM).
- GeForce RTX 5090 — NVIDIA. nvidia.com. Уровень: справка. Зачем: пример потребительской карты; точную пропускную способность смотрите в спецификации.
- Mac Studio — Technical Specifications — Apple, 2026. apple.com. Уровень: справка. Зачем: пропускная способность объединённой памяти M5 Max/Ultra (460–614 ГБ/с и до 1,2 ТБ/с).
Квантование
- «GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers» — Frantar et al., 2022. arXiv:2210.17323. Уровень: продвинутый. Зачем: пост-тренировочное квантование с компенсацией ошибки.
- «AWQ: Activation-aware Weight Quantization» — Lin et al., 2023. arXiv:2306.00978. Уровень: продвинутый. Зачем: защита важных каналов по активациям.
- «SmoothQuant» — Xiao et al., 2022. arXiv:2211.10438. Уровень: продвинутый. Зачем: перенос сложности квантования с активаций на веса.
- «LLM.int8()» — Dettmers et al., 2022. arXiv:2208.07339. Уровень: продвинутый. Зачем: 8-битное умножение с обработкой выбросов.
- «The case for 4-bit precision: k-bit Inference Scaling Laws» — Dettmers, Zettlemoyer, 2022. arXiv:2212.09720. Уровень: средний–продвинутый. Зачем: эмпирика о том, когда 4 бита достаточны.
- llama.cpp PR #1684, «k-quants» — ggml-org, 2023. GitHub. Уровень: продвинутый. Зачем: исходное обсуждение k-quants.
- llama.cpp PR #4861, «Importance Matrix calculation» — ggml-org, 2024. GitHub. Уровень: продвинутый. Зачем: как работает imatrix.
- llama.cpp,
tools/quantize/README.md— ggml-org. GitHub. Уровень: средний. Зачем: практические команды квантования. - llama.cpp Discussion #5063, «Even more quantization types?» — ggml-org, 2023. GitHub. Уровень: продвинутый. Зачем: эволюция типов и компромиссы.
- «Unsloth Dynamic GGUFs» — Unsloth. docs.unsloth.ai. Уровень: средний. Зачем: динамические кванты; заявления авторов, не независимая проверка.
- «Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA» — Hugging Face, 2023. блог. Уровень: новичок–средний. Зачем: доступное введение в 4-битное квантование.
- Transformers quantization overview — Hugging Face. docs. Уровень: средний. Зачем: карта форматов и библиотек.
MoE
- «Switch Transformers» — Fedus, Zoph, Shazeer, 2021. arXiv:2101.03961. Уровень: продвинутый. Зачем: top-1 роутинг и балансировка.
- «Mixtral of Experts» — Jiang et al., 2024. arXiv:2401.04088. Уровень: средний. Зачем: популярная MoE и её поведение.
- «DeepSeekMoE» — Dai et al., 2024. arXiv:2401.06066. Уровень: продвинутый. Зачем: fine-grained эксперты и shared experts.
- «Mixture of Experts Explained» — Hugging Face, 2022. блог. Уровень: новичок–средний. Зачем: лучшее визуальное введение в MoE.
- «Performant local mixture-of-experts CPU inference with GPU acceleration in llama.cpp» — Doctor-Shotgun, Hugging Face, 2024. блог. Уровень: средний. Зачем: схема «attention на GPU, эксперты в RAM».
- «DeepSeek-V3 Technical Report» — DeepSeek-AI, 2024. arXiv:2412.19437. Уровень: продвинутый. Зачем: большая MoE, shared experts, MTP.
KV-кэш, контекст, позиционные кодировки
- «RoFormer: Enhanced Transformer with Rotary Position Embedding» — Su et al., 2021. arXiv:2104.09864. Уровень: продвинутый. Зачем: первоисточник RoPE.
- «YaRN: Efficient Context Window Extension» — Peng et al., 2023. arXiv:2309.00071. Уровень: продвинутый. Зачем: расширение контекста.
- «Extending Context Window via Positional Interpolation» — Chen et al., 2023. arXiv:2306.15595. Уровень: продвинутый. Зачем: простой способ растянуть позиции.
- «Train Short, Test Long: ALiBi» — Press, Smith, Lewis, 2021. arXiv:2108.12409. Уровень: продвинутый. Зачем: альтернатива RoPE с линейным штрафом.
- «GQA» — Ainslie et al., 2023. arXiv:2305.13245. Уровень: продвинутый. Зачем: групповые KV-головы.
- «Fast Transformer Decoding: One Write-Head is All You Need» — Shazeer, 2019. arXiv:1911.02150. Уровень: продвинутый. Зачем: MQA.
- «DeepSeek-V2» — DeepSeek-AI, 2024. arXiv:2405.04434. Уровень: продвинутый. Зачем: MLA и сжатие KV.
- «Gated Delta Networks: Improving Mamba2 with Delta Rule» — Yang, Kautz, Hatamizadeh, 2024. arXiv:2412.06464. Уровень: продвинутый. Зачем: гибридное линейное внимание; в тексте книги — Gated DeltaNet.
- «Transformers are RNNs» — Katharopoulos et al., 2020. arXiv:2006.16236. Уровень: продвинутый. Зачем: линейное внимание.
- «Mamba» — Gu, Dao, 2023. arXiv:2312.00752. Уровень: продвинутый. Зачем: state-space модели.
- «H2O: Heavy-Hitter Oracle» — Zhang et al., 2023. arXiv:2306.14048. Уровень: продвинутый. Зачем: вытеснение неважных токенов из KV.
- «Efficient Streaming Language Models with Attention Sinks» — Xiao et al., 2023. arXiv:2309.17453. Уровень: продвинутый. Зачем: StreamingLLM и attention sinks.
- «KIVI» — Liu et al., 2024. arXiv:2402.02750. Уровень: продвинутый. Зачем: 2-битное квантование KV.
- «SnapKV» — Li et al., 2024. arXiv:2404.14469. Уровень: продвинутый. Зачем: выбор важных позиций.
- «A Survey on KV Cache Management» — Li et al., 2024. arXiv:2412.19442. Уровень: продвинутый. Зачем: карта методов сжатия и управления KV.
Serving, кэш, батчинг
- «Prompt Cache: Modular Attention Reuse» — Gim et al., 2023. arXiv:2311.04934. Уровень: продвинутый. Зачем: переиспользование частей промпта.
- «SGLang: Efficient Execution of Structured Language Model Programs» — Zheng et al., 2023. arXiv:2312.07104. Уровень: продвинутый. Зачем: RadixAttention и разделяемый кэш.
- «PagedAttention / vLLM» — Kwon et al., 2023. arXiv:2309.06180. Уровень: продвинутый. Зачем: управление KV блоками.
- vLLM blog, «Easy, Fast, and Cheap LLM Serving» — vLLM, 2023. blog.vllm.ai. Уровень: средний. Зачем: доступное объяснение PagedAttention.
- vLLM, «Automatic Prefix Caching» — vLLM. docs.vllm.ai. Уровень: средний. Зачем: как устроен кэш префиксов в vLLM.
- vLLM, «Paged Attention» design doc — vLLM. docs.vllm.ai. Уровень: продвинутый. Зачем: детали реализации.
- «Orca: A Distributed Serving System» — Yu et al., OSDI 2022. USENIX. Уровень: продвинутый. Зачем: итеративный батчинг.
- «How continuous batching enables 23x throughput» — Anyscale, 2022. блог. Уровень: средний. Зачем: наглядный разбор continuous batching.
- llama.cpp Discussion #10260 — ggml-org, 2024. GitHub. Уровень: средний. Зачем: разница
-bи-ub. - llama.cpp,
tools/server/README.md— ggml-org. GitHub. Уровень: средний. Зачем: флаги сервера, KV, MoE, tools,--n-cpu-moe,--moe-cache-mib, KV offload и квантование KV. - llama.cpp,
docs/speculative.md— ggml-org. GitHub. Уровень: средний. Зачем: типы спекуляции и флаги. - llama.cpp PR #22673, «MTP Support» — ggml-org, 2026. GitHub. Уровень: продвинутый. Зачем: поддержка MTP-голов.
- llama.cpp,
tools/llama-bench/README.md— ggml-org. GitHub. Уровень: средний. Зачем: методика микробенчмарка. - GGUF specification — ggml-org. GitHub. Уровень: продвинутый. Зачем: формат файла модели.
- ggml — ggml-org. GitHub. Уровень: продвинутый. Зачем: тензорная библиотека под llama.cpp.
- llama.cpp Discussion #4167 — ggml-org. GitHub. Уровень: средний. Зачем: примеры замеров на Apple Silicon.
- llama.cpp,
docs/function-calling.md— ggml-org. GitHub. Уровень: средний. Зачем:--jinja,tool_choice, параллельные вызовы. - llama.cpp,
grammars/README.md— ggml-org. GitHub. Уровень: средний. Зачем: синтаксис GBNF. - vLLM, «Tool Calling» — vLLM. docs.vllm.ai. Уровень: средний. Зачем: strict schema и
tool_choice.
Движки инференса (ноябрь 2026)
Версии и флаги проверены 8 ноября 2026 по релизам и официальной документации. Матрицы моделей, квантов и функций меняются между релизами; сверяйте --help и документацию своей версии.
- llama.cpp, релиз v0.9.0 — ggml-org, 04.11.2026. GitHub. Уровень: продвинутый. Зачем: версия, ggml 0.29.0, FP8 E4M3, unified KV, список бэкендов.
- llama.cpp,
docs/development/token_generation_performance_tips.md— ggml-org, 2026. GitHub. Уровень: средний. Зачем: потоки CPU и проверка offload. - vLLM, релиз v0.33.0 — vLLM Project, тег 01.11.2026, публикация 02.11.2026. GitHub. Уровень: продвинутый. Зачем: версия, PyTorch 2.14, CUDA 13.0, ROCm 10.0, изменения.
- vLLM v0.33.0,
vllm/config/speculative.py— vLLM Project, 2026. GitHub. Уровень: продвинутый. Зачем:SpeculativeMethodвключаетdflashиdspark. - vLLM, «Security: API key authentication limitations» — vLLM, 2026. docs.vllm.ai. Уровень: средний. Зачем: какие маршруты не защищает
--api-key. - vLLM, «Optimization and Tuning» — vLLM, 2026. docs.vllm.ai. Уровень: средний. Зачем: chunked prefill, preemption, TP/PP/EP/DP.
- vLLM, «Conserving Memory» — vLLM, 2026. docs.vllm.ai. Уровень: средний. Зачем: OOM и способы экономии.
- vLLM, «Speculative Decoding» — vLLM, 2026. docs.vllm.ai. Уровень: продвинутый. Зачем: методы,
--speculative-config, MTP. - vLLM, «Structured Outputs» — vLLM, 2026. docs.vllm.ai. Уровень: средний. Зачем: XGrammar/guidance и
response_format. - vLLM, «Production Metrics» — vLLM, 2026. docs.vllm.ai. Уровень: средний. Зачем: метрики Prometheus.
- vLLM, «Per-Request Metrics» — vLLM, 2026. docs.vllm.ai. Уровень: средний. Зачем:
--enable-per-request-metrics. - vLLM, «Quantization» — vLLM, 2026. docs.vllm.ai. Уровень: продвинутый. Зачем: форматы и поддержка железа.
- vLLM, «Quantized KV Cache» — vLLM, 2026. docs.vllm.ai. Уровень: продвинутый. Зачем: FP8 KV и калибровка.
- SGLang, релиз v0.5.23 — SGLang Project, 02.11.2026. GitHub. Уровень: продвинутый. Зачем: версия, Paged Experts, HiCache, новые модели.
- SGLang, «Server Arguments» — SGLang, 2026. docs.sglang.io. Уровень: средний. Зачем: флаги и значения по умолчанию.
- SGLang, «Radix Cache Eviction Policies» — SGLang, 2026. docs.sglang.io. Уровень: средний. Зачем: LRU/LFU/SLRU/priority.
- SGLang, «HiCache Best Practices» — SGLang, 2026. docs.sglang.io. Уровень: продвинутый. Зачем: L1/L2/L3 и настройка.
- SGLang, «Speculative Decoding» — SGLang, 2026. docs.sglang.io. Уровень: продвинутый. Зачем: EAGLE, MTP, NGRAM, UNO, DFLASH.
- SGLang, «Structured Outputs» — SGLang, 2026. docs.sglang.io. Уровень: средний. Зачем: XGrammar/Outlines/llguidance.
- SGLang, «Tool Parser» — SGLang, 2026. docs.sglang.io. Уровень: средний. Зачем: парсеры и поддерживаемые модели.
- SGLang, «Production Metrics» — SGLang, 2026. docs.sglang.io. Уровень: средний. Зачем: метрики
sglang:. - SGLang, «Quantization» — SGLang, 2026. docs.sglang.io. Уровень: продвинутый. Зачем: FP8/FP4/AWQ/GPTQ.
- SGLang, «Paged Experts» (v0.5.23 и main) — SGLang, 2026. v0.5.23, main. Уровень: продвинутый. Зачем: MoE больше VRAM и ограничения; в v0.5.23
--paged-experts-num-residentобязателен, в main по умолчаниюauto. - SGLang, «Quantized KV Cache» — SGLang, 2026. docs.sglang.io. Уровень: продвинутый. Зачем: FP8/FP4 KV.
Спекулятивное декодирование
- «Fast Inference from Transformers via Speculative Decoding» — Leviathan, Kalman, Matias, 2022. arXiv:2211.17192. Уровень: продвинутый. Зачем: формализация и анализ.
- «Accelerating Large Language Model Decoding with Speculative Sampling» — Chen et al., 2023. arXiv:2302.01318. Уровень: продвинутый. Зачем: схема с сохранением распределения.
- «Medusa» — Cai et al., 2024. arXiv:2401.10774. Уровень: продвинутый. Зачем: множественные головы и дерево.
- «EAGLE» — Li et al., 2024. arXiv:2401.15077. Уровень: продвинутый. Зачем: черновик на признаках.
- «EAGLE-2» — Li et al., 2024. arXiv:2406.16858. Уровень: продвинутый. Зачем: динамическое дерево.
- «EAGLE-3» — Li et al., 2025. arXiv:2503.01840. Уровень: продвинутый. Зачем: обучение с test-time scaling.
Сэмплинг и рассуждение
- «The Curious Case of Neural Text Degeneration» — Holtzman et al., 2019. arXiv:1904.09751. Уровень: средний. Зачем: nucleus sampling.
- «Hierarchical Neural Story Generation» — Fan, Lewis, Dauphin, 2018. arXiv:1805.04833. Уровень: средний. Зачем: top-k sampling.
- «Turning Up the Heat: Min-p Sampling» — Nguyen et al., 2024. arXiv:2407.01082. Уровень: средний. Зачем: адаптивная обрезка.
- «Chain-of-Thought Prompting» — Wei et al., 2022. arXiv:2201.11903. Уровень: средний. Зачем: почему промежуточные рассуждения помогают.
- «Self-Consistency Improves Chain of Thought Reasoning» — Wang et al., 2022. arXiv:2203.11171. Уровень: средний. Зачем: несколько траекторий и голосование.
- «s1: Simple test-time scaling» — Muennighoff et al., 2025. arXiv:2501.19393. Уровень: продвинутый. Зачем: бюджетное управление рассуждением.
- «DeepSeek-R1» — DeepSeek-AI, 2025. arXiv:2501.12948. Уровень: продвинутый. Зачем: рассуждающая модель и RL.
Инструменты и структурированный вывод
- «Gorilla: Large Language Model Connected with Massive APIs» — Patil et al., 2023. arXiv:2305.15334. Уровень: средний. Зачем: обучение вызову API.
- «Toolformer» — Schick et al., 2023. arXiv:2302.04761. Уровень: средний. Зачем: модель учится вызывать инструменты.
- «Efficient Guided Generation for Large Language Models» — Willard, Louf, 2023. arXiv:2307.09702. Уровень: продвинутый. Зачем: Outlines и маскирование логитов.
- «XGrammar» — Dong et al., 2024. arXiv:2411.15100. Уровень: продвинутый. Зачем: быстрая структурированная генерация.
- Berkeley Function Calling Leaderboard — UC Berkeley. gorilla.cs.berkeley.edu. Уровень: средний. Зачем: публичный бенчмарк tool calling.
Оценка моделей и бенчмарки
- «Model Cards for Model Reporting» — Mitchell et al., 2018. arXiv:1810.03993. Уровень: новичок–средний. Зачем: что должно быть в карточке модели.
- «Holistic Evaluation of Language Models» — Liang et al., 2022. arXiv:2211.09110. Уровень: средний. Зачем: почему один бенчмарк не описывает модель.
- «Measuring Massive Multitask Language Understanding» — Hendrycks et al., 2020. arXiv:2009.03300. Уровень: средний. Зачем: MMLU и его ограничения.
- «Chatbot Arena» — Chiang et al., 2024. arXiv:2403.04132. Уровень: средний. Зачем: что измеряют предпочтения людей.
- «Adding Error Bars to Evals» — Evan Miller, 2024. arXiv:2411.00640. Уровень: средний. Зачем: статистика для оценок.
- MLPerf Inference — MLCommons. mlcommons.org. Уровень: продвинутый. Зачем: пример строгой методологии бенчмарка.
Речь и OCR
- «Robust Speech Recognition via Large-Scale Weak Supervision» — Radford et al., 2022. arXiv:2212.04356. Уровень: продвинутый. Зачем: оригинальная статья Whisper.
- whisper.cpp — ggml-org. GitHub. Уровень: средний. Зачем: локальный запуск Whisper без Python.
- «GigaAM: Efficient Self-Supervised Learner for Speech Recognition» — Kutsakov et al., 2025. arXiv:2506.01192. Уровень: продвинутый. Зачем: ASR-модель, обученная преимущественно на русской речи по данным авторов, и сравнение с Whisper-large-v3.
- Silero VAD — Silero. GitHub. Уровень: средний. Зачем: лёгкий детектор речи.
- Tesseract documentation — Tesseract OCR. tesseract-ocr.github.io. Уровень: новичок. Зачем: установка и языковые пакеты.
- «PP-OCR: A Practical Ultra Lightweight OCR System» — Du et al., 2020. arXiv:2009.09941. Уровень: продвинутый. Зачем: архитектура PP-OCR.
- RapidOCR — RapidAI. GitHub. Уровень: средний. Зачем: ONNX-порт для практического запуска.
- PaddleOCR — PaddlePaddle. GitHub. Уровень: средний. Зачем: полный инструментарий OCR.
Большие модели на маленьком железе (2026)
- Strata — Niko1221, 2026. GitHub, How it works, Models, DeepSeek V4.1. Уровень: продвинутый. Зачем: устройство экспертного кэша, требования к памяти и самозаявленные замеры; MIT, но проект очень молодой.
- «Best Open Source LLM: Strata with Qwen 3.8 Flash Next» — Fabio Akita, 2026. akitaonrails.com. Уровень: средний. Зачем: независимый обзор и замеры на RTX 5090 и Strix Halo; 159 ток/с, 90–97% попаданий, цена в ОЗУ и swap.
- Strata issue #4815 — пользовательский замер на RTX 5080 16 ГБ. GitHub. Уровень: продвинутый. Зачем: пример независимой проверки флага
--kv-residentи его реальной цены. - «Qwen3.8 Flash Next Review: Benchmarks, Architecture, Memory Requirements, and Local Inference» — Benjamin Marie, 2026. kaitchup.substack.com. Уровень: средний. Зачем: 125B-A6B, 51B n-gram-таблица и 4B MTP-модуль; лид доступен, бенчмарки и расчёты памяти — за пейволом.
- KTransformers — kvcache-ai, 2024–2026. GitHub, DeepSeek R1/V3 tutorial. Уровень: продвинутый. Зачем: CPU-GPU гибрид, AMX/AVX-512, цифры для 671B на 14 ГБ VRAM и 382 ГБ DRAM.
- «PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU» — Song et al., 2023. arXiv:2312.12456, GitHub. Уровень: продвинутый. Зачем: горячие и холодные нейроны; важно ограничение — только ReLU-модели.
- «PowerInfer-2: Fast Large Language Model Inference on a Smartphone» — Xue et al., 2024. arXiv:2406.06282. Уровень: продвинутый. Зачем: нейронные кластеры и смартфонный инференс; исследовательская работа, не массовый рантайм.
- AirLLM — lyogavin, 2023–2026. GitHub. Уровень: средний. Зачем: послойная загрузка и честная цена в скорости; заявления «70B на 4 ГБ» требуют независимой проверки.
- «LLM in a flash: Efficient Large Language Model Inference with Limited Memory» — Alizadeh et al., 2023. arXiv:2312.11514. Уровень: продвинутый. Зачем: windowing, row-column bundling и потолок SSD-стриминга.
- «MoE-Infinity: Efficient MoE Inference on Personal Machines with Sparsity-Aware Expert Cache» — Xue et al., 2024. arXiv:2401.14361, GitHub. Уровень: продвинутый. Зачем: кэш экспертов и предзагрузка для batch=1; открытый код, по README, отличается от версии из статьи.
- «ExpertFlow: Efficient Mixture-of-Experts Inference via Predictive Expert Caching and Token Scheduling» — 2024. arXiv:2410.17954. Уровень: продвинутый. Зачем: предсказание маршрутизации, до 93,72% экономии памяти GPU и до 10× в abstract.
- exo — exo labs, 2024–2026. GitHub. Уровень: средний. Зачем: домашний кластер Mac, tensor parallel и RDMA over Thunderbolt.
- «1.5 TB of VRAM on Mac Studio — RDMA over Thunderbolt 5» — Jeff Geerling, 2025. jeffgeerling.com. Уровень: средний. Зачем: независимые замеры exo на четырёх Mac Studio и сравнение с llama.cpp RPC.
- llama.cpp,
tools/rpc/README.md— ggml-org. GitHub. Уровень: продвинутый. Зачем: RPC-бэкенд, TCP/RDMA и предупреждение о небезопасности. - Petals — bigscience-workshop, 2022–2024. GitHub. Уровень: средний. Зачем: BitTorrent-подобный распределённый инференс; проект не развивается с 2024 года.
- distributed-llama — b4rtaz, 2023–2026. GitHub. Уровень: средний. Зачем: кластер из домашних устройств, tensor parallelism, ограничения Q4_0 и 2^n узлов.
- «The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits» — Ma et al., 2024. arXiv:2402.17764. Уровень: продвинутый. Зачем: тернарные веса и обучение с нуля; не путать с пост-тренировочным квантованием.
- bitnet.cpp — Microsoft, 2024–2026. GitHub, arXiv:2410.16144. Уровень: продвинутый. Зачем: CPU/GPU-ядра для BitNet b1.58, ускорения и энергия; 100B-модель пока не выложена.
- HQQ — dropbox, 2023–2026. GitHub. Уровень: средний. Зачем: быстрое квантование без калибровки, 1–8 бит; 4-битный пример на 4090.
- AQLM — Vahe1994, 2024–2026. GitHub, arXiv:2401.06118. Уровень: продвинутый. Зачем: аддитивное квантование на 2–3 бита и качество Llama-3-70B.
- «QTIP: Quantization with Trellises and Incoherence Processing» — 2024. arXiv:2406.11235. Уровень: продвинутый. Зачем: trellis-квантование и SOTA на 2 битах; исследование.
- «Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time» — Liu et al., 2023. arXiv:2310.17157, GitHub. Уровень: продвинутый. Зачем: контекстная разреженность и предсказатель.
- «CATS: Contextually-Aware Thresholding for Sparsity in Large Language Models» — 2024. arXiv:2404.08763. Уровень: продвинутый. Зачем: 50% разреженности при 1–2% потери и ~15% реального ускорения.
- Splash — incoai, 2026. GitHub. Уровень: средний. Зачем: Apple Silicon, DFlash2, Metal и ANE; самозаявленные замеры на M5 Pro.
- NInfer — Neroued, 2026. GitHub. Уровень: продвинутый. Зачем: RTX 5090/DGX Spark, CPU expert offload и 101 ГиБ Flash-Next.
- HyperQwen — syv-ai, 2026. GitHub. Уровень: продвинутый. Зачем: vLLM-патчи и спекуляция для 27B на одной 24-ГБ карте.
- FastFlowLM — ROCm/AMD, 2025–2026. GitHub, бенчмарк Qwen3.8. Уровень: средний. Зачем: NPU-first рантайм для Ryzen AI; официальный бенчмарк AMD — 2–3 ток/с для 27B.
- ANEMLL — Anemll, 2025–2026. GitHub. Уровень: продвинутый. Зачем: конвертация LLM в CoreML для Apple Neural Engine; MIT заявлен в README, отдельного LICENSE-файла нет.
- «Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets» — 2026. arXiv:2608.19147, OpenVINO issue #35641, Cascadia. Уровень: продвинутый. Зачем: §8.6 — Llama 3.1 8B INT4 на Lunar Lake NPU, 3,55 → 11,46 ток/с на четырёх слотах; плюс ограничения OpenVINO.
- WebLLM — MLC AI, 2023–2026. GitHub, arXiv:2412.15803. Уровень: средний. Зачем: WebGPU-инференс в браузере и его потолок по размеру модели.
- MLC LLM — MLC AI, 2023–2026. GitHub. Уровень: средний. Зачем: универсальный компилятор/рантайм для iOS, Android, WebGPU и настольных GPU.
- LMCache, «New Architecture Boosts MoE Inference Performance by 10×» — 2026. блог. Уровень: продвинутый. Зачем: vendor-заявление об offload KV; 10× — по p99 TTFT, декод — около 3,8×, независимой проверки нет.
Коробочные решения (ноябрь 2026)
- Ollama — документация — Ollama, 2026. docs.ollama.com. Уровень: новичок–средний. Зачем: контекст по VRAM, Modelfile, OpenAI-совместимость, tool calling, импорт GGUF, параллельные запросы. Основной источник для главы о коробках.
- Ollama v0.40.15 — Ollama, 3 ноября 2026. GitHub. Уровень: справка. Зачем: актуальная версия, MLX-сборки, изменения llama.cpp/MLX.
- Ollama — политика приватности — Ollama, март 2026. ollama.com/privacy. Уровень: справка. Зачем: что уходит в облако, а что остаётся локально;
OLLAMA_NO_CLOUD. - LM Studio 0.4.0 — LM Studio, 28 января 2026. блог. Уровень: новичок–средний. Зачем:
llmster, параллельные запросы, unified KV, stateful REST, permission keys. - LM Studio — Parallel Requests — LM Studio, 2026. docs. Уровень: средний. Зачем: Max Concurrent Predictions = 4 по умолчанию; ограничение для MLX на момент 0.4.0.
- LM Studio — Headless / TTL — LM Studio, 2026. headless, TTL. Уровень: средний. Зачем: JIT, TTL 60 минут, auto-evict, запуск без GUI.
- LM Studio — lms load — LM Studio, 2026. docs. Уровень: новичок–средний. Зачем:
--context-length,--gpu,--ttl,--estimate-only. - LM Studio — Speculative Decoding — LM Studio, 2026. docs. Уровень: средний. Зачем: черновик, общий словарь, ориентиры размеров, зависимость от промпта.
- LM Studio — App Terms / Privacy — LM Studio, 2025–2026. terms, privacy. Уровень: справка. Зачем: проприетарная лицензия, бесплатность для работы, отсутствие телеметрии.
- LM Studio, bug #2024 — LM Studio bug tracker, июнь 2026. GitHub. Уровень: продвинутый. Зачем: ограничения программной настройки KV-кванта и параллельности; пользовательский отчёт, не официальная документация.
- Unsloth Studio — Unsloth, 2026. документация, chat, API. Уровень: новичок–средний. Зачем: инференс GGUF/MLX, дообучение, экспорт, API, лицензия, auto context.
- Unsloth changelog — Unsloth, 6 ноября 2026. docs. Уровень: средний. Зачем: 4 слота, многопользовательские аккаунты, vLLM/SGLang, версии и изменения.
- Jan — Menlo Research, 2026. quickstart, репозиторий, движок, API. Уровень: новичок–средний. Зачем: llama.cpp/MLX, настройки KV и слотов, локальный API, лицензия.
- llamafile — Mozilla.ai, 2026. репозиторий, запуск, API. Уровень: новичок–средний. Зачем: один файл, сервер, OpenAI/Anthropic API, ограничение Windows 4 ГБ.
- GPT4All 3.10.0 — Nomic, 25 февраля 2025. GitHub. Уровень: новичок. Зачем: последний стабильный релиз; показывает темп проекта.
- LocalAI 4.12.1 — LocalAI, 23 октября 2026. GitHub. Уровень: средний. Зачем: актуальная версия серверного шлюза.
- LocalAI — quickstart / text generation / auth — LocalAI, 2026. quickstart, text generation, auth. Уровень: средний–продвинутый. Зачем: бэкенды llama.cpp/ik/vLLM/SGLang, OpenAI/Anthropic/Responses, роли и OIDC.
Блоги и практика
- Tim Dettmers, «The Best GPUs for Deep Learning in 2023» — 2023. timdettmers.com. Уровень: средний. Зачем: как выбирать GPU под нагрузку и память.
- Chip Huyen, «Building A Generative AI Platform» — 2024. huyenchip.com. Уровень: средний. Зачем: архитектура приложений вокруг моделей.
Железо и цены (ноябрь 2026)
Цены проверены 7 ноября 2026 года; курс ЦБ РФ — 81,79 ₽ за доллар. Уличные цены меняются ежедневно, поэтому числа в главе — ориентиры, а не обещание магазина. Где надёжного источника не было, в главе стоит «не нашёл».
- NVIDIA GeForce RTX 5090 — Specifications — NVIDIA, 2026. nvidia.com. Уровень: справка. Зачем: 32 ГБ GDDR7, 575 Вт, 1000 Вт БП, NVLink нет, 3352 AI TOPS.
- NVIDIA RTX PRO 6000 Blackwell Workstation Edition — NVIDIA, 2026. nvidia.com. Уровень: справка. Зачем: 96 ГБ, 1792 ГБ/с, 600 Вт, 4000 AI TOPS.
- NVIDIA RTX PRO 5000 Blackwell — NVIDIA, 2026. nvidia.com. Уровень: справка. Зачем: 48/72 ГБ, 1344 ГБ/с, 300 Вт.
- NVIDIA DGX Spark — Specifications — NVIDIA, 2026. nvidia.com. Уровень: справка. Зачем: GB10, 128 ГБ LPDDR5X, 273 ГБ/с, 140 Вт, 1 PFLOPS FP4, 29 дБА.
- Lenovo Press, ThinkSystem RTX PRO 6000 Blackwell Max-Q — Lenovo, 2026. lenovopress.lenovo.com. Уровень: справка. Зачем: прямо указывает «NVLink support: No» — полезно против рекламных обещаний.
- Guru3D, «GeForce RTX 5090 D v2 Officially Released» — 15.08.2025. guru3d.com. Уровень: справка. Зачем: 24 ГБ, 1344 ГБ/с, 2375 TOPS, 575 Вт — замена битой ссылке.
- AMD Radeon AI PRO R9700 — AMD, 2026. amd.com. Уровень: справка. Зачем: 32 ГБ, 640 ГБ/с, 300 Вт, ECC, 95,7 TFLOPS FP16, ROCm.
- Intel Arc Pro B-Series — Intel, 2026. intel.com. Уровень: справка. Зачем: B50/B60/B65/B70 — 16–32 ГБ, 224–608 ГБ/с, 70–230 Вт.
- Apple Mac Studio (M5 Max/M5 Ultra) — Tech Specs — Apple, 2026. support.apple.com. Уровень: справка. Зачем: 36–512 ГБ, 460–1200 ГБ/с.
- Apple Mac mini (M6/M5 Pro) — Tech Specs — Apple, 2026. support.apple.com. Уровень: справка. Зачем: 16–64 ГБ, 153–307 ГБ/с.
- AMD EPYC 9005 Series — AMD, 2026. amd.com. Уровень: справка. Зачем: 12 каналов DDR5-6400, 614 ГБ/с на сокет.
- AMD Ryzen Threadripper 9000 — AMD, 2026. amd.com. Уровень: справка. Зачем: TRX50 — 4 канала, WRX90 — 8 каналов, 80–128 линий PCIe 5.0.
- Tom’s Hardware, «Nvidia doubles RTX PRO 6000 Blackwell’s MSRP to $16,000» — 2026. tomshardware.com. Уровень: средний. Зачем: как кризис памяти удвоил цену профессиональной карты.
- BestValueGPU, RTX 5090 price history — 12.10.2026. bestvaluegpu.com. Уровень: справка. Зачем: уличная цена $4 999 и история.
- Tech Insider / Tom’s Hardware, RTX 5090 price tracking — 05.11.2026. tech-insider.org. Уровень: справка. Зачем: верхняя граница $6 919 и дефицит.
- GPU Sold, RTX 3090 used price — 04.11.2026. gpusold.com. Уровень: справка. Зачем: медиана проданных $1 586 за 14 дней.
- PCPrice.Watch, RTX 4090 used price — 04.11.2026. pcprice.watch. Уровень: справка. Зачем: медиана $2 496 и разброс.
- Silicon Comps, RTX 4090 / A6000 / RTX 6000 Ada — 03.11.2026. siliconcomps.com. Уровень: справка. Зачем: ориентиры цен на б/у 24–48 ГБ.
- AI Miracle, «Radeon AI PRO R9700: 32GB for $1,299» — 13.10.2026. aimiracle.ai. Уровень: средний. Зачем: цена, ROCm, ограничения.
- Local AI Master, Radeon AI Pro R9700 for local AI — 2026. localaimaster.com. Уровень: средний. Зачем: prefill в 2,6–3,4 раза медленнее 5090, декод ~1,5 раза.
- ninabot.ch, «Intel Arc Pro B60 for LLM inference: four cards» — 10–11.09.2026. ninabot.ch. Уровень: продвинутый. Зачем: 4×B60 96 ГБ, 82,4 ток/с на 30B-A3B, 211 Вт.
- Framework Desktop Mainboard — Framework, 2026. frame.work. Уровень: справка. Зачем: Strix Halo 128 ГБ, цены и конфигурации.
- ComputingForGeeks, «Best Ryzen AI Max+ 395 Mini PC» — 2026. computingforgeeks.com. Уровень: справка. Зачем: сравнение боксов и цен.
- The Register, «Nvidia debuts $4,999 DGX Spark with half the RAM» — 02.10.2026. theregister.com. Уровень: средний. Зачем: рост цены DGX Spark до $6 950 и 64-гиговая версия.
- NIX, NVIDIA DGX Spark 128 ГБ — 06.11.2026. nix.ru. Уровень: справка. Зачем: российская цена 860 185 ₽.
- DNS, видеокарты RTX 5080 — 07.11.2026. dns-shop.ru. Уровень: справка. Зачем: российские цены 202–210 тыс. ₽.
- DNS, видеокарты RTX 5070 Ti — 07.11.2026. dns-shop.ru. Уровень: справка. Зачем: цена около 150 тыс. ₽.
- DNS, видеокарты RTX 5070 — 07.11.2026. dns-shop.ru. Уровень: справка. Зачем: цены 105–113 тыс. ₽.
- DNS, видеокарты RTX 5060 Ti 16 ГБ — 07.11.2026. dns-shop.ru. Уровень: справка. Зачем: цены 80–88 тыс. ₽.
- Metaratings, «Сколько стоит в России собрать игровой ПК» — 2026. cybersport.metaratings.ru. Уровень: справка. Зачем: RTX 5090 750–950 тыс. ₽, 5090D v2 400–440 тыс. ₽.
- 3DNews, «RTX 5090 продаются в России от 350 тыс. рублей» — 02.11.2026. 3dnews.ru. Уровень: справка. Зачем: разброс и серый импорт.
- Citilink, видеокарты AMD Radeon — 07.11.2026. citilink.ru. Уровень: справка. Зачем: RX 9060 XT 73–89 тыс. ₽.
- ServerFlow, Intel Arc Pro B60 24 ГБ — 07.11.2026. serverflow.ru. Уровень: справка. Зачем: российская цена 110 300 ₽.
- Авито, RTX 3090 — 07.11.2026. avito.ru. Уровень: справка. Зачем: б/у 115–140 тыс. ₽.
- Авито, RTX 4090 — 07.11.2026. avito.ru. Уровень: справка. Зачем: б/у 145–270 тыс. ₽.
- Apple-store.net.ru, Mac mini — 07.11.2026. apple-store.net.ru. Уровень: справка. Зачем: Mac mini M5 Pro 215–280 тыс. ₽.
- Megabait, Mac Studio — 07.11.2026. megabait.net. Уровень: справка. Зачем: Mac Studio M5 Max 36–128 ГБ, цены.
- RunPod — RTX 4090 — 2026. runpod.io. Уровень: справка. Зачем: аренда 4090 около $0,34/ч; использована для сравнения с 2×3090.
- Selectel, GPU-серверы — 2026. selectel.ru. Уровень: справка. Зачем: 2×4090 210 ₽/ч, RTX PRO 6000 290 ₽/ч.
- HOSTKEY, аренда H100/A100 — 31.08.2026. hostkey.ru. Уровень: справка. Зачем: H100 207 ₽/ч, A100 153 ₽/ч.
- Fusion Worldwide, «RDIMM Shortage 2026» — 2026. fusionww.com. Уровень: средний. Зачем: рост цен DRAM и RDIMM, причина подорожания железа.
- ЦБ РФ, курс доллара на 06.11.2026 — 06.11.2026. myfin.by. Уровень: справка. Зачем: 81,79 ₽/$ для пересчёта.
- Тарифы на электроэнергию в Москве — 2026. info-gkh.ru. Уровень: справка. Зачем: 8,90 ₽/кВт·ч с 1 октября 2026.
- llama.cpp — Backend/build docs — ggml-org, 2026. GitHub. Уровень: средний. Зачем: CUDA, HIP, SYCL, Metal, Vulkan, CPU.
- llama.cpp — SYCL backend — ggml-org, 2026. GitHub. Уровень: продвинутый. Зачем: сборка и запуск на Intel GPU.
- MLX — Apple Machine Learning Research, 2026. GitHub. Уровень: средний. Зачем: фреймворк для Apple Silicon.
- ROCm — System requirements — AMD, 2026. docs.amd.com. Уровень: продвинутый. Зачем: поддержка Radeon AI PRO и RDNA.
- vLLM — Installation — vLLM, 2026. docs.vllm.ai. Уровень: продвинутый. Зачем: CUDA, ROCm, XPU.
- AI Infra in Depth — hardware dataset — Bojie Li, 2026. GitHub, JSON. Уровень: справка. Зачем: 151 устройство с объёмами и ПСП; Apache-2.0, использован для сверки Apple M5/M6, RTX PRO 6000, A6000 и RTX 6000 Ada.
Ограничения проверки
- Самозаявленные числа. Бенчмарки моделей, скорость в карточках и заявления вендоров не проверялись независимо. В книге они либо не используются как факты, либо помечены.
- Молодые проекты 2026. У Strata, Splash, NInfer и HyperQwen возраст — месяцы, а не годы; их числа и флаги могут меняться быстрее, чем выходит книга. В тексте это помечено.
- Версии рантаймов. Флаги llama.cpp и поведение сервера меняются между сборками. Сверяйте
--helpсвоей версии и документацию. - Железо. Точные значения пропускной способности и объёма памяти зависят от конкретной модели карты, драйвера и охлаждения. В книге — порядки величин.
- Даты. Для некоторых постов и документации точная дата не указана; приведён год или «постоянно обновляется».
- Языковые модели. Русскоязычные бенчмарки (MERA, ruBFCL и др.) существуют, но независимых сравнений на технических документах мало; в книге нет утверждений, которые опирались бы на такие неполные данные.
- O'Reilly. Страницы книг могут требовать подписки; метаданные (автор, год, название) проверены по каталогу.