Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Как выбрать железо для локального инференса

Зачем эта глава. Глава 13 отвечает, какая модель влезет в вашу память. Эта глава — о том, на чём её запускать: какие карты, боксы и платформы продаются в ноябре 2026 года, сколько они стоят, что на них реально работает и где начинаются подводные камни. Железо не делает модель умнее. Оно решает три вещи: поместится ли она, с какой скоростью будет отвечать и сколько это будет стоить в рублях, ваттах и децибелах.

За 30 секунд

  • Память решает, что запустится. Пропускная способность решает, как быстро пойдёт декод. Софт решает, заработает ли вообще.
  • Ноябрь 2026 — плохое время для покупки: кризис памяти поднял цены видеокарт и серверной ОЗУ в 1,5–3 раза выше MSRP. Покупайте под задачу, которая есть сейчас, а не «под будущее».
  • Одна карта с 24–32 ГБ часто полезнее двух по 16 ГБ: модель должна помещаться в один пул, а не делиться по PCIe.
  • 128 ГБ объединённой памяти — это про модели на 70–120 млрд параметров в Q4 (235B MoE — уже 192–256 ГБ), но декод dense-моделей будет 3–60 ток/с, а не 200. Считайте по формуле из главы 2, а не по маркетингу.
  • Если нагрузка меньше ~500 часов в год, аренда GPU почти всегда дешевле покупки. Если больше 2 000 часов в год и данные нельзя выносить — покупка.

1. Три числа, которые решают всё

Любой вариант железа описывается тремя числами.

1. Объём памяти. Сколько весов, KV-кэша и буферов помещается одновременно. Считается по формулам глав 4 и 6:

вес + KV + буферы + запас ≤ доступная память

Для Q4_K_M удобно брать 0,6 ГБ на миллиард параметров. Тогда 8B — около 4,8 ГБ, 14B — 8,4 ГБ, 32B — 19,2 ГБ, 70B — 42 ГБ, 120B MoE — около 72 ГБ, 235B MoE — около 141 ГБ. KV-кэш на длинном контексте добавляет единицы или десятки гигабайт — глава 6.

2. Пропускная способность памяти (ПСП). Сколько гигабайт в секунду можно прочитать. Потолок декода:

ток/с ≈ ПСП ÷ байт активных весов на токен

Для dense это все параметры, для MoE — только активные. Реально получается 50–75 % потолка (глава 2). У 70B dense в Q4_K_M на токен читается ~42 ГБ: карта с 1 ТБ/с даёт потолок ~24 ток/с, реально 12–18.

3. Софт. CUDA, ROCm, SYCL, Metal, Vulkan, MLX. Одна и та же карта может быть отличной в llama.cpp и бесполезной в vLLM. Поэтому «характеристики» — только половина ответа.

Note

Дальше в таблицах я даю потолок и реалистичный диапазон (50–75 % от потолка) для одного слота. Это оценки по формуле, а не замеры. Ваш рантайм, квант и длина контекста дадут другой результат — проверяйте по методике главы 12.

1.1 Почему ноябрь 2026 — особый случай

Рынок перекошен спросом на память: контрактные цены DRAM выросли на 93–98 % в 1 кв. 2026 и ещё на 58–63 % во 2 кв. (Fusion Worldwide, 2026). Следствия:

  • RTX 5090: MSRP $1 999 → $4 999–6 919 (BestValueGPU, 12.10.2026; Tech Insider, 05.11.2026).
  • RTX PRO 6000: $8 565 → $16 000 (Tom’s Hardware, 2026).
  • DGX Spark: $3 999 → $4 699 → $6 950; 64 ГБ — $4 999 (The Register, 02.10.2026; ServeTheHome, 2026).
  • RTX 50 Super — не раньше 2027; 5080 24 ГБ может пропустить январь (WCCFtech, 03.11.2026). Ждать бессмысленно.

Warning

Все цены в главе — на 7 ноября 2026 года, если рядом не указана другая дата. Курс ЦБ РФ на 06.11.2026 — 81,79 ₽ за доллар (ЦБ РФ). Долларовые цены — уличные в США и Европе, без налогов; рублёвые — российские магазины и маркетплейсы, часто с серым импортом. Разброс в 1,5–2 раза внутри одной модели — норма. Наличие в РФ нестабильно: DNS и Citilink часто продают «под заказ», Avito — наличием; проверяйте перед покупкой. Там, где надёжного источника не было, написано «не нашёл», а не придуманное число.

1.2 Электричество и шум — часть цены

Стоимость энергии считается так:

₽/год = мощность, Вт × часы в год × тариф / 1000

Московский одноставочный тариф для населения с 1 октября 2026 года — 8,90 ₽/кВт·ч (info-gkh.ru, 2026; Мосэнергосбыт). Возьмём типичные системные 150 Вт сверху к видеокарте:

КонфигурацияМощность8 ч/день, ₽/год24/7, ₽/год
RTX 5090 + ПК~725 Вт~18 800~56 500
2×RTX 3090 + ПК~850 Вт~22 100~66 200
Mac Studio M5 Max~150 Вт~3 900~11 700
DGX Spark / Strix Halo~140 Вт~3 600~10 900

575 Вт в маленькой комнате — это постоянный источник тепла и звука. Боксы на 140 Вт можно ставить на стол; 4×5090 — только в отдельную комнату.

Рисунок. Память, ПСП и цена устройств: логарифмические оси, размер кружка — уличная цена США. Правый верх — серверные CPU: объём есть, скорости нет; их цены — оценка. Данные — таблицы главы; ПСП/объёмы сверены с AI Infra in Depth (Apache-2.0); цены — ноябрь 2026.

Prefill — отдельная история. У дискретных NVIDIA он быстрый: тысячи ток/с на 8B и сотни на 30–70B. У R9700 — в 2,6–3,4 раза медленнее 5090; у Apple и Strix Halo — ещё медленнее, особенно на длинном промпте; у CPU — десятки–сотни ток/с. Поэтому RAG с длинными документами и агент с большим системным промптом на unified-боксах ощущаются иначе, чем на 5090, даже когда декод у них сопоставим.

2. NVIDIA для потребителя: RTX 50 и остатки RTX 40

Это самый простой путь: CUDA, llama.cpp, vLLM, Ollama, TensorRT-LLM — всё работает. Вопрос только в том, сколько вы готовы заплатить за память и пропускную способность.

КартаVRAMПСП, ГБ/сTDPСША, $Россия, ₽Кому
RTX 50903217925754 999–6 919 ↗750–950 тыс. ↗30B dense, 30B-A3B, длинный контекст
RTX 5080169603601 290–1 866 ↗202–210 тыс. ↗14B Q4; 30B MoE с выгрузкой
RTX 5070 Ti16896300990–1 150 ↗~150 тыс. ↗то же, дешевле и медленнее
RTX 507012672250779–909 ↗105–113 тыс. ↗8–9B Q4 с запасом, 14B на грани
RTX 5060 Ti 1616448180500–780 ↗80–92 тыс. ↗8–14B Q4, бюджетный вход
RTX 5060 88448145330–380 ↗54–55 тыс. ↗только 7–8B Q4, без запаса

Цены в таблице — на 07.11.2026. MSRP на старте: 5090 — $1 999, 5080 — $999, 5070 Ti — $749, 5070 — $549, 5060 Ti — $429, 5060 — $299. То есть текущие улицы — это +10–250 % к рекомендованной цене; в Европе добавьте НДС, обычно +15–20 %. В России разброс больше: например, RTX 5090 в DNS и «Регарде» идёт за 750–950 тыс. ₽, а на Авито встречаются предложения «под заказ» около 500 тыс. ₽ (3DNews, 02.11.2026). Гарантия и происхождение при такой разнице — не формальность. DNS/Citilink — официальная розница; агрегаторы серого импорта на те же даты дают в 1,5–2 раза ниже (5060 Ti — от ~50 тыс., 5080 — от ~116 тыс., 5070 — от ~60 тыс. ₽), но без гарантии (GPUPrices, 31.10.2026).

2.1 RTX 5090: 32 ГБ и 1,8 ТБ/с, но за них просят как за автомобиль

Спецификация: 21 760 CUDA-ядер, 32 ГБ GDDR7, 512-битная шина, 1792 ГБ/с, 575 Вт, рекомендуемый БП 1000 Вт, длина 304 мм, 2 слота у Founders Edition, 3352 AI TOPS в FP4 с разреженностью (NVIDIA, 2026). NVLink нет — только PCIe 5.0 x16. FP4 есть у 50-й серии, у 40-й — только FP8; для GGUF это почти не важно, для vLLM с FP8/FP4 — важно.

Что реально:

  • 8B Q4 (4,8 ГБ) — 190–280; 14B (8,4 ГБ) — 110–160; prefill — тысячи ток/с.
  • 32B dense Q4 (19,2 ГБ) — 47–70, с 32k и q8 остаётся ~7–9 ГБ; 30B-A3B MoE — 250–400 (потолок ~996, мешают attention и роутинг).
  • 70B dense Q4 (42 ГБ) — не влезает; с выгрузкой слоёв в ОЗУ — 3–8 ток/с.

Плюсы: лучший декод, 32 ГБ, CUDA. Минусы: 2,5–3,5× MSRP, 575 Вт, 12V-2x6, БП 1000 Вт, шум, 2–3 слота.

Warning

RTX 5090D v2 — не «дешёвая 5090». Китайская версия для обхода экспортных ограничений: те же 21 760 CUDA, но 24 ГБ на 384-битной шине, 1344 ГБ/с вместо 1792 и 2375 AI TOPS вместо 3352, плюс встроенное ограничение ИИ-производительности (NVIDIA China, 2026; Guru3D, 15.08.2025). В России её продают за 400–440 тыс. ₽ (Metaratings, 2026). Для 30B dense и 70B-с-выгрузкой она интересна, для честной 5090 — нет: меньше память, ниже ПСП и срезанный ИИ.

2.2 RTX 5080 и 5070 Ti: 16 ГБ — новый минимум

Обе карты дают 16 ГБ, но разную ПСП: 960 ГБ/с у 5080 и 896 ГБ/с у 5070 Ti. Для декода это почти одна лига; разница заметна в prefill и играх. TDP 360 и 300 Вт, длина около 304 мм, 2–3 слота — в компактный корпус такие карты не влезут.

Что реально:

  • 8B Q4 — 100–150 (5080) и 93–140 (5070 Ti); 14B Q4 — 57–86 и 53–80, 32k с q8 помещается.
  • 32B dense Q4 и 70B — не влезают: 19,2 ГБ весов больше 16 ГБ; 30B MoE Q4 (~18 ГБ) — только с выгрузкой.

16 ГБ — минимум для 14B Q4 с длинным контекстом; 32B dense — нет. Если бюджет позволяет, 24–32 ГБ дают больше возможностей, чем +10 % скорости.

2.3 RTX 5070 и 5060 Ti: где заканчивается комфорт

RTX 5070 (12 ГБ, 672 ГБ/с, 250 Вт) — 8–9B Q4 с 32k комфортно; 14B Q4: 8k ~11,6 ГБ, 16k ~12,3 ГБ (на грани), 32k нет. 32B нет.

RTX 5060 Ti 16 (16 ГБ, 448 ГБ/с, 180 Вт) — 14B Q4 с 32k и 8B 47–70 ток/с; версия 8 ГБ — только 7–8B Q4 на 8k.

RTX 5060 8 — 7–8B Q4, 8k; 16k уже не оставляет запаса.

2.4 RTX 40: дешёвое б/у и никакой гарантии

Серия снята с производства, но на вторичке ещё много карт. Главное отличие от 50-й серии — нет FP4 и нет DLSS 4, но для GGUF это почти не важно; FP8 у Ada есть, CUDA — та же.

Б/у 40-я серия: 4090 24 ГБ (1008 ГБ/с, 450 Вт, $2 496–3 800 ↗, 145–270 тыс. ₽ ↗); 4080/4080 Super 16 ГБ (717–736 ГБ/с, $800–930), 4070 Ti Super 16 (672, $720–800), 4060 Ti 16 (288, цену не нашёл) (SellGPU). 4080/4070 Ti Super проигрывают новой 5060 Ti 16 по гарантии и цене за ГБ.

Посчитай сам. Есть 24 ГБ VRAM и 32B dense в Q4_K_M. Хватит ли контекста 32k, если KV-кэш в q8_0, а на буферы и запас оставить 2,5 ГБ? Конфиг: 48 слоёв, 8 KV-голов, d_head = 128.

Решение
вес:        32 × 0,6 = 19,2 ГБ
KV:         2 × 48 × 8 × 128 × 1,06 × 32 768 ≈ 3,41 ГБ
буферы:     1,0 ГБ
запас:      1,5 ГБ
итого:      19,2 + 3,41 + 1,0 + 1,5 = 25,11 ГБ

Не хватает около 1,1 ГБ. Варианты: контекст 24k (KV ~2,56 ГБ, итого ~24,3 ГБ — всё ещё на грани), KV в q4_0 (около 1,8 ГБ, итого ~23,5 ГБ), квант Q4_K_S или 32 ГБ карта. Вывод: 24 ГБ для 32B Q4 с 32k — мало; 32 ГБ — комфортно. Это ровно тот случай, когда «влезает» и «работает» — разные вещи.

3. Б/у 3090 и профессиональные карты: память без скорости

Когда нужно много памяти, а бюджет не резиновый, есть два пути: вторичка и профессиональные карты.

3.1 RTX 3090 24 ГБ — народный выбор для 30B

3090 — это 24 ГБ GDDR6X, 936 ГБ/с, 350 Вт, 2×8-pin (у Founders Edition — 12-pin), длина около 313 мм, 3 слота. NVLink есть: две карты объединяются в 48 ГБ с пропускной способностью моста 112,5 ГБ/с. Для 2020 года это был флагман; в 2026-м — рабочий инструмент за 115–140 тыс. ₽ на Авито (Авито, 07.11.2026). В США медиана проданных — $1 586 за 14 дней к 04.11.2026 (GPU Sold, 04.11.2026). 3090 стартовала с $1 499, 4090 — с $1 599; сегодняшние б/у цены близки к этим MSRP, что для четырёх-пятилетних карт ненормально.

Что реально:

  • 8B Q4 — 98–146; 14B — 56–83; 32B — 24–37 (только 16k; 32k в 24 ГБ не помещается).
  • 30B-A3B MoE — 150–250.
  • 70B Q4 не влезает; две 3090 по NVLink (48 ГБ) — 16–24.

Плюсы: 24 ГБ, NVLink, CUDA, ремонтопригодность, выбор на вторичке. Минусы: нет FP8/FP4, нагрев памяти 100–110 °C, майнинг, нет гарантии. Проверяйте артефакты, термопрокладки, разъёмы, NVLink-мост.

3.2 Профессиональные RTX PRO: ECC, blower и гарантия

КартаVRAMПСП, ГБ/сTDPСША, $Что реально
RTX PRO 4000246721403 050 ↗32B Q4 только 16k; 14B комфортно; 1 слот
RTX PRO 4500328962005 726 ↗32B Q4 с запасом, 70B нет
RTX PRO 50004813443007 300 ↗70B Q4 16–24 ток/с; 32B 35–53
RTX PRO 600096179260016 000 ↗70B Q4 21–32; 70B Q8 12–18; 120B MoE 150–250
RTX A6000 (б/у)48768300~3 750 ↗70B Q4 9–14; без FP8, но 48 ГБ
RTX 6000 Ada (б/у)48960300~5 225 ↗70B Q4 11–17; FP8, но NVLink нет

На 48 ГБ 70B Q4 помещается с контекстом около 16k; для 32k нужно 64–96 ГБ. ECC, blower и трёхлетняя гарантия — это +1,5–3× к цене за гигабайт. Российских розничных цен на PRO-карты я не нашёл: они продаются через интеграторов. Версия PRO 5000 на 72 ГБ — $8 999–9 999 (Newegg, 11.2026) и держит 70B Q4 с 32k. У PRO 6000 есть Max-Q на 300 Вт — меньше шума, ниже потолок мощности.

Note

В главе 13 для 48 ГБ стоит 12–18 ток/с. Это тот же расчёт с более консервативным запасом; для PRO 5000 и пары 3090 в таблице 16–24 — потолок 50–75 %, для A6000/6000 Ada — 9–14/11–17 по их ПСП. Для планирования берите 12–18.

Важно про NVLink. В RTX PRO 6000 Blackwell нет NVLink — ни в Workstation, ни в Server Edition; в спецификации Lenovo прямо написано «NVLink support: No» (Lenovo Press, 2026). Две карты по 96 ГБ работают как два отдельных пула на 192 ГБ, общаются по PCIe 5.0 x16. Для layer split это нормально, для tensor parallel — медленнее. У старых A6000 (Ampere) NVLink был; у RTX 6000 Ada и RTX PRO 6000 Blackwell его уже нет. Именно поэтому A6000 до сих пор берут для 2×48 ГБ, а RTX 6000 Ada — уже нет.

Tip

Если нужен именно один пул на 96 ГБ и CUDA — RTX PRO 6000 вне конкуренции. Если нужен 192 ГБ и вы готовы платить за две карты, сначала проверьте, умеет ли ваш рантайм нормально работать с двумя пулами по PCIe. vLLM умеет tensor parallel, llama.cpp — layer split; для второго NVLink не критичен.

4. AMD: 32 ГБ дешевле, но с оговорками

AMD в 2026 — это Radeon AI PRO R9700: 32 ГБ GDDR6, 640 ГБ/с, 300 Вт, 95,7 TFLOPS FP16 (векторных), 1531 TOPS INT4, ECC на Linux, 2 слота, blower. Вентилятор слышно — плата за плотность (AMD, 2026; AI Miracle, 13.10.2026). MSRP $1 299, улица $1 320–1 699 (Newegg, 11.2026).

Что реально (по независимым тестам и формуле):

  • 8B Q4 — 67–100; 14B — 38–57; 32B — 17–25 (32k помещается); 70B — нет; 30B-A3B — 150–250.
  • Prefill в 2,6–3,4 раза медленнее 5090, декод — примерно в 1,5 раза (Local AI Master, 2026). Для RAG и длинных промптов это чувствуется.

Софт: ROCm 7 на Linux, официальная поддержка R9700 (gfx1201), llama.cpp HIP и Vulkan, vLLM ROCm, Ollama. На Windows — Vulkan/Adrenalin, ROCm ограничен. Проверяйте, собран ли бэкенд под вашу карту и версию драйвера.

RX 9070 XT 16 ГБ — тот же Navi 48, 640 ГБ/с, 304 Вт, MSRP $599, улица $760–919 (BestValueGPU, 11.2026). В России — от 65 тыс. ₽ на Авито (Авито, 07.11.2026) до ~110 тыс. ₽ в рознице (GPUPrices, 30.10.2026). Для 8–14B Q4 — отлично, для 32B мало памяти; ROCm у RDNA4 сырее, чем у R9700.

RX 9060 XT 16 ГБ — 320 ГБ/с, 160 Вт, MSRP $349, улица ~$500; в России 73–89 тыс. ₽ (Citilink, 2026). 8B — 40–60, 14B — 20–30; бюджетно, но ПСП низкая.

КартаVRAMПСП, ГБ/сTDPСША, $Россия, ₽Комментарий
Radeon AI PRO R9700326403001 320–1 699 ↗не нашёл32 ГБ, ECC, blower для плотных сборок
RX 9070 XT16640304760–919 ↗65–110 тыс. ↗быстрая 16-гиговая, ROCm хуже
RX 9060 XT 1616320160~500 ↗73–89 тыс. ↗тихая, но медленная

Warning

AMD — Linux-first. В Windows проверьте ROCm/Vulkan до покупки: R9700 поддержан официально, 9070 XT — зависит от сборки. CUDA-инструменты (TensorRT-LLM и часть quantization) не заработают.

5. Intel: 24–32 ГБ за небольшие деньги, если готовы к SYCL

Intel Arc Pro — самый недооценённый вариант 2026 года. Карты дают много памяти за деньги, но требуют Linux и терпения.

КартаVRAMПСП, ГБ/сTDPСША, $Россия, ₽Что реально
Arc Pro B501622470~299 ↗не нашёл8B Q4, 14B Q4 медленно
Arc Pro B6024456200934–1 025 ↗110 300 ↗14B Q4 27–41; 32B Q4 12–18
Arc Pro B70326082301 932–2 059 ↗не нашёл32B Q4 16–24; 70B нет

B60 — 20 Xe, 24 ГБ GDDR6, 456 ГБ/с, 200 Вт, PCIe 5.0 x8, 8-pin, blower, ~267 мм у большинства партнёров. MSRP $599, улица $934–1 025; в РФ 110 300 ₽ (ServerFlow, 07.11.2026). Дороже 3090 б/у при меньшей скорости, но новая, с ECC и 200 Вт.

B70 — 32 Xe, 32 ГБ, 608 ГБ/с, 230 Вт, 22,9 TFLOPS FP32, 367 TOPS INT8 (Intel, 2026). Цена выросла с $949 до $1 900–2 060; 32B — 16–24, 14B — 36–54.

Софт: llama.cpp SYCL, vLLM XPU, Ollama, OpenVINO, PyTorch XPU; на Linux — драйвер xe, GuC и сборка с -DGGML_SYCL=ON. 4×B60 (96 ГБ) в независимом тесте: 82,4 ток/с на Qwen3-Coder-30B-A3B, 119 ток/с на 12 параллельных запросов (130B), 211 Вт в тесте (паспорт 4×200 Вт) (ninabot.ch, 10–11.09.2026). Хорошо для 96 ГБ за ~$3,7 тыс., если хватает PCIe x8.

Note

Intel — не «просто работает»: проверяйте драйвер, GuC, образ llama.cpp/vLLM и кванты; IPEX-LLM меняет статус. Для минимального риска — не первый выбор.

6. Apple: 128–512 ГБ, тихо, но медленно

Apple Silicon — это объединённая память: CPU и GPU видят один пул, веса не копируются по PCIe. Плата за это — пропускная способность ниже, чем у дискретных карт, и отсутствие CUDA.

МашинаПамятьПСП, ГБ/сЦена США, $Цена РФ, ₽Что реально
Mac mini M616–32153 / 170899 ↗не нашёл8B Q4 32–48; 14B 18–27
Mac mini M5 Pro24–643071 699 ↗215–280 тыс. ↗14B 18–27; 32B 8–12
Mac Studio M5 Max36–128460 / 6142 499 ↗248–824 тыс. ↗70B/120B — только 64/128 ГБ; 70B Q4 7–11; 120B MoE 60–100
Mac Studio M5 Ultra96–5121 2005 499 ↗853 тыс. (96/1 ТБ) ↗70B Q4 14–21; 120B MoE 150–250; 235B MoE — только 256–512 ГБ

Тот же M5 Max с 128 ГБ — в MacBook Pro 16 за $7 399 (Apple, 2026) — для мобильной работы. Официальные ПСП: M5 Max 36 ГБ — 460 (40-ядерный — 614), M5 Ultra — 1200, M6 — 153/170, M5 Pro — 307 (Apple, Apple, 2026).

Что реально:

  • Mac mini M5 Pro 64 ГБ — 32B Q4 8–12 ток/с, 14B 18–27, 8B 32–48. Тихий, 12,7×12,7×5 см, ~100 Вт. Для чата и одного агента — отлично; для 70B — мало памяти или медленно.
  • Mac Studio M5 Max 128 ГБ — 70B Q4 7–11 ток/с, 120B MoE Q4 60–100, 32B 16–24. Корпус 19,7×19,7×9,5 см, почти бесшумный. Для 70B это рабочий, но не быстрый вариант; для MoE с малым числом активных — вполне.
  • Mac Studio M5 Ultra 96–512 ГБ — 1,2 ТБ/с меняет картину: 70B Q4 14–21, 70B Q8 8–12, 120B MoE 150–250; 235B MoE Q4 (~141 ГБ) влезает только в конфигурации на 256–512 ГБ и идёт там на 35–60 ток/с. Это самый доступный способ держать 235B MoE в одном пуле без сервера. 512 ГБ — для моделей на 400B+ и очень длинного контекста, цена «как автомобиль».

MLX против llama.cpp Metal. MLX лучше использует объединённую память и MXFP4, часто быстрее на prefill; llama.cpp Metal зрелее по моделям и флагам, декод близок к ПСП. Для одного пользователя разница 10–30 % на prefill; для сервера с слотами удобнее llama.cpp.

Warning

Объединённая память — не бесконечная VRAM. macOS резервирует часть пула; лимит поднимается через sudo sysctl iogpu.wired_limit_mb=<МБ>, но оставьте 8–16 ГБ системе. 128 ГБ при 460–1200 ГБ/с — не 1,8 ТБ/с: на 70B Q4 разница в декоде 1,5–4 раза.

7. NVIDIA DGX Spark: 128 ГБ CUDA на столе

DGX Spark — маленькая коробка на GB10 Grace Blackwell: 20-ядерный ARM (10×Cortex-X925 + 10×Cortex-A725), GPU Blackwell, 128 ГБ LPDDR5X, 273 ГБ/с, 1 PFLOPS FP4 (с разреженностью), TDP 140 Вт, БП 240 Вт, 150×150×50,5 мм, 1,2 кг, шум 29 дБА под нагрузкой и 13 дБА в простое по таблице ECMA-109 (NVIDIA, 2026). Цена — $6 950 за 128 ГБ, $4 999 за 64 ГБ; у партнёров (Acer, ASUS, Dell, Gigabyte, HP, Lenovo, MSI) — $5 660–9 097 (The Register, 02.10.2026; pi3g, 24.09.2026). В России — 860 185 ₽ в NIX на 06.11.2026 (NIX, 06.11.2026).

Что реально:

  • 8B Q4 — 28–43; 14B — 16–24; 32B — 7–11.
  • 70B Q4 — 3–5 (Q8 — 1,5–2,5); 120B MoE — 30–50.
  • 235B MoE Q4 в 128 ГБ не влезает; Q3/IQ3 — на грани, 5–10. Prefill — средне-быстрый CUDA, но не 5090.

Плюсы: 128 ГБ одним пулом, CUDA-стек, тихо, 1,2 кг; до 4 узлов по 200 Гбит/с (шардинг — на фреймворке). Минусы: 273 ГБ/с, ARM, память распаяна, цена выросла; 64 ГБ за $4 999 — плохой выбор.

Note

«1 PFLOPS FP4» — пик для разреженных тензоров; декод упирается в 273 ГБ/с, FP4 помогает prefill/батчингу. Не сравнивайте с 3352 TOPS напрямую.

8. AMD Strix Halo: 128 ГБ по цене видеокарты

Ryzen AI Max+ 395 («Strix Halo») — APU с 16 ядрами Zen 5, Radeon 8060S (40 CU) и 128 ГБ LPDDR5X-8000 на 256-битной шине, 256 ГБ/с, до 126 TOPS (50 NPU), TDP 55–120 Вт, системное потребление мини-ПК 120–140 Вт. Это x86, Windows и Linux, без CUDA.

БоксПамятьЦена США, $Россия, ₽Комментарий
Framework Desktop1283 449 ↗не нашёлmini-ITX, ремонтопригодный, Linux-first
GMKtec EVO-X21283 649 ↗193–387 тыс. ↗самый массовый
Beelink GTR9 Pro1284 349 ↗не нашёлдороже, больше портов
Minisforum MS-S1 Max1283 799 ↗не нашёл2×10GbE, 2U-опция

Цены в России — от 193 тыс. ₽ на Яндекс Маркете (серый импорт) до 387–414 тыс. ₽ на Wildberries/Ozon. Разброс объясняется происхождением, гарантией и комплектацией; проверяйте, что именно 128 ГБ, а не 64 или 32.

Что реально:

  • 8B Q4 — 27–40; 14B — 15–23; 32B — 7–10.
  • 70B Q4 — 3–4,5; 120B MoE — 25–45.
  • 235B MoE Q4 в 128 ГБ не влезает; Q3/IQ3 — 5–10. Prefill слабее NVIDIA: длинный промпт идёт заметно дольше.

Плюсы: 128 ГБ за 200–400 тыс. ₽ — самая низкая цена за гигабайт; x86/Windows, 4,5 л, ~140 Вт. Минусы: 256 ГБ/с, ROCm на gfx1151 сырее, память распаяна, нет CUDA, шум под нагрузкой.

Tip

Strix Halo — если нужны 128 ГБ и тишина, а 3–4 ток/с на 70B устраивают. Быстрее — Mac Studio Ultra/PRO 6000; CUDA — DGX Spark.

9. CPU-only и серверная память: когда это имеет смысл

CPU-only почти никогда не выигрывает по скорости. Он выигрывает по объёму и цене за гигабайт, если у вас уже есть сервер или нужна пакетная обработка.

ПлатформаКаналов DDR5ПСП, ГБ/с70B Q4, ток/с8B Q4, ток/сКогда брать
Десктоп, 2 канала280–1001–1,48–13только 7–14B, офлайн
Threadripper TRX504~2052,5–3,721–3230B, 70B офлайн, 1–2 GPU
Threadripper PRO WRX908~4105–743–6470B, 4 GPU, много RAM
EPYC 9005126147–1164–96сервер, 768 ГБ+, батчи
2×EPYC 9005241 22815–22128–192большие батчи, NUMA-тюнинг

Цифры ПСП — теоретические: 12 каналов DDR5-6400 дают 614,4 ГБ/с на сокет (Supermicro, 2026); WRX90 — 8 каналов, около 410 ГБ/с; TRX50 — 4 канала, около 205 ГБ/с (NEMIX, 2026). Реальная ПСП ниже на 10–20 %, а на 70B добавляется NUMA и неоптимальные ядра. Intel Xeon 6 в старших моделях тоже даёт 8–12 каналов DDR5; по ПСП он близок к EPYC, но конкретную платформу, цену и поддержку б/у проверяйте отдельно (Intel, 2026).

Стоимость в 2026 году абсурдна: EPYC 9655P — около £10 999 (Overclockers UK, 2026), 64 ГБ RDIMM — порядка $3 000 (Fusion Worldwide, 2026). 768 ГБ на 12 каналах — $50–60 тыс. только за CPU, память и плату [оценка]; за это — 3–4 RTX PRO 6000 или стойка б/у 3090. Ориентиры для графика: десктоп на 2 каналах — ~$1,5 тыс., WRX90 на 8 каналах — ~$12 тыс. [оценка].

Когда CPU-only оправдан:

  • Пакетная обработка: ночью прогнать 10 тысяч документов, скорость не важна.
  • Огромный контекст/база: модель на 200B+ в Q4 не влезает ни в одну карту, а 768 ГБ ОЗУ — влезает.
  • Сервер уже есть: вы докупаете память, а не всю платформу.
  • Юридические ограничения: данные не могут покидать контур, а GPU нет.

Когда нет: интерактивный чат, агент с тулами, несколько пользователей. 70B на 1–2 ток/с — это не работа, а ожидание. И помните про шум: 1U-сервер с 12 каналами памяти и турбинными вентиляторами слышно из соседней комнаты; для дома нужен tower-корпус.

Warning

На двухсокетной системе каждый сокет — свой NUMA-узел; чтение «чужой» памяти почти вдвое снижает ПСП. Закрепляйте потоки (numactl --cpunodebind) и проверяйте, что модель не размазана.

10. Несколько GPU: 48, 64, 96, 192 ГБ

Несколько карт нужны, когда одна не вмещает модель или когда нужен батчинг. Есть два режима:

  • Layer split (llama.cpp --split-mode layer): слои делятся между картами, каждая считает свои; по PCIe ходят только активации. Требует меньше пропускной способности, но на каждом шаге карты ждут друг друга.
  • Tensor parallel (vLLM): матрицы слоя делятся между картами, нужен all-reduce на каждом слое. Быстрее на prefill, но требует высокой пропускной способности между картами.
КонфигурацияПамятьПСП суммарноМощностьЦена (оценка)NVLinkКомментарий
2×RTX 3090481 872~700 Вт230–280 тыс. ₽ ↗да, 112,5 ГБ/с70B Q4 16–24; лучший бюджет
2×RTX 5090643 584~1 150 Вт1,5–1,9 млн ₽ [оценка]нет70B Q4 24–40; БП 1600 Вт
4×RTX 50901287 168~2 300 Вт3–3,8 млн ₽ [оценка]нет120B MoE; только отдельная комната
2×RTX PRO 6000 Workstation Edition1923 584~1 200 Вт2,6–3 млн ₽ [оценка]нет235B MoE Q4 40–60; PCIe only
4×Arc Pro B60961 824~800 Вт~440 тыс. ₽ [оценка]нет30B-A3B 82 ток/с (тест)

PCIe, питание и шум: 2×5090 — БП 1 600 Вт, 4× — 2,3 кВт и отдельная комната; 4 GPU требуют HEDT/сервер: у Ryzen 9 24 линии → x8/x8, у Threadripper/EPYC — 80–128. Подробнее — §1.2.

  • NVLink. У 5090 его нет; у 3090 есть (2-way). У RTX PRO 6000 Blackwell нет. Для tensor parallel на 2×5090 all-reduce пойдёт по PCIe 5.0 x8 (32 ГБ/с в каждую сторону) — это может стать бутылочным горлышком на prefill. Для layer split — терпимо.

Warning

2×16 ГБ ≠ 32 ГБ. Модель на 24 ГБ не всегда делится на две по 12: слой attention или эксперт может не поместиться, а tensor parallel добавляет all-reduce. Если влезает в одну 32-гиговую — она быстрее и проще. Исключение — 2×3090 по NVLink: память объединяется.

11. Облако или покупка: считаем точку безубыточности

Аренда GPU в 2026 году дешевле, чем кажется, а локальное железо — дороже. Формула простая:

часы до безубыточности = цена железа / (аренда в час − электричество в час)

Пример для RTX 5090:

  • Покупка: 800 тыс. ₽ (карта + БП + корпус).
  • Электричество: ~7 ₽/ч (725 Вт × 8,90 ₽/кВт·ч).
  • Аренда 5090: $0,69/ч ≈ 56 ₽/ч в Community Cloud (RunPod, 27.08.2026); Secure Cloud — $1,19/ч ≈ 97 ₽/ч.
  • Разница: 49 ₽/ч (Community) или 90 ₽/ч (Secure). Безубыточность: 16 300 ч в Community или 8 900 ч в Secure — ~1,9 года 24/7 или ~1 год 24/7 соответственно; по 8 часов в день это 5,6 и 3 года.
ВариантЦена (только GPU/бокс)АрендаЧасы до безубыточностиВывод
RTX 5090800 тыс. ₽56 ₽/ч (Community) / 97 ₽/ч (Secure)~16 300 / ~8 90024/7 — локально; 8 ч/день — облако
2×RTX 3090260 тыс. ₽60 ₽/ч (2×4090, RunPod)~5 20024/7 — локально; 8 ч/день — ~1,8 года
RTX PRO 6000 96 ГБ1,3 млн ₽290 ₽/ч (Selectel)~4 70024/7 — локально; иначе аренда
Mac Studio M5 Ultra 96 ГБ853 тыс. ₽342 ₽/ч (H100, Immers)~2 600сравнение условное: разные архитектуры

Россия: Selectel — 2×4090 210 ₽/ч, PRO 6000 290 ₽/ч; HOSTKEY — H100 207 ₽/ч; Immers — H100 342 ₽/ч (Selectel, HOSTKEY, Immers, 2026).

За рубежом: RunPod 5090 — $0,69 Community / $1,19 Secure, 4090 — $0,34, H100 — $1,99–2,89; PRO 6000 — $1,69–2,35 (RunPod, Spheron, 30.10.2026).

Посчитай сам. Вы работаете с 70B Q4 по 8 часов в день, 250 дней в году. Две карты 2×3090 стоят 260 тыс. ₽ (остальной ПК у вас уже есть), электричество — 10 ₽/ч, аренда 2×4090 на RunPod — около 60 ₽/ч (две карты по ~$0,34/ч). Что дешевле за 3 года?

Решение
часы:            8 × 250 × 3 = 6 000 ч
аренда:          6 000 × 60 = 360 000 ₽
локально:        260 000 + 6 000 × 10 = 320 000 ₽

Локально дешевле на ~40 тыс. ₽ за 3 года — но это без учёта амортизации, ремонта, шума и времени на настройку. Если часы упадут до 4 в день, аренда выиграет. Если 24/7 — локально выиграет в разы. Считайте свои часы, а не «кажется, что своё дешевле».

Облако: нет capex, доступ к H100/B200, масштаб, тишина. Минусы: данные наружу, egress, изменчивые цены. Гибрид: локальная 24–32 ГБ для разработки, аренда 96–192 ГБ для больших прогонов.

12. Бюджет → лучший вариант

Цены — российские, ноябрь 2026; они взяты из разделов выше, ссылки и дата проверки — там же (07.11.2026). «Лучший» — не самый быстрый, а лучший баланс памяти, скорости, гарантии и шума.

БюджетЛучший вариантПочему
до 50 тыс. ₽б/у RTX 3060 12 ГБ ↗; новых карт с 12+ ГБ в этом бюджете не нашёл12 ГБ лучше 8 для LLM; гарантии нет
50–100 тыс. ₽RTX 5060 Ti 16 ГБ (80–92 тыс.)16 ГБ, гарантия, 180 Вт, CUDA
100–200 тыс. ₽б/у RTX 3090 24 ГБ (115–140 тыс.) или RX 9070 XT 16 ГБ (65–110 тыс.)24 ГБ за деньги 16-гиговой новой; 9070 XT быстрее, но 16 ГБ
200–400 тыс. ₽2×RTX 3090 48 ГБ (230–280 тыс.) или Strix Halo 128 ГБ (193–387 тыс.)48 ГБ с NVLink против 128 ГБ без CUDA
400–800 тыс. ₽Mac Studio M5 Max 64 ГБ (464 тыс.) или RTX 5090 32 ГБ (750–950 тыс., верхняя граница)тишина и 64 ГБ против скорости и 32 ГБ
1 млн ₽+RTX PRO 6000 96 ГБ (1,3–1,7 млн [оценка]) или Mac Studio M5 Ultra 256 ГБ (точную цену не нашёл; 96 ГБ — 853 тыс.)один пул 96 ГБ с CUDA против 256 ГБ с 1,2 ТБ/с

Tip

За 200–300 тыс. ₽ без б/у Strix Halo 128 ГБ — самый универсальный: x86, Windows, 140 Вт. Но 70B на нём — 3–4,5 ток/с; быстрее — 2×3090 (48 ГБ), зато без 120B MoE.

12.1 Цена за гигабайт — грубый, но полезный фильтр

УстройствоЦена, ₽Память, ГБ₽/ГБЧто не учтено
Strix Halo 128 ГБ300 000128~2 340скорость, софт, гарантия
Arc Pro B60110 30024~4 600скорость, драйверы
RTX 3090 б/у130 00024~5 420гарантия, ремонт, шум
Mac Studio M5 Max 128 ГБ823 900128~6 440CPU, SSD, софт Apple
RTX PRO 6000 96 ГБ1 310 00096~13 650CUDA, ECC, гарантия
RTX 5090 32 ГБ800 00032~25 000скорость, CUDA, но цена

Цена за гигабайт не говорит о скорости: 3090 и B60 стоят похоже за 24 ГБ, но 3090 читает память вдвое быстрее. И не говорит о софте: Strix Halo дешевле всех за гигабайт, но CUDA на нём нет. Это только первый фильтр, после которого всё равно надо считать декод и смотреть, что поддерживает ваш рантайм.

13. Задача → железо

ЗадачаМинимумКомфортПочему
Чат 7–14BRTX 5060 Ti 16RTX 5070 / Mac mini M5 Pro 2416 ГБ хватает на 14B Q4 + 32k; 12 ГБ — на 8–9B
Агент 30B MoERTX 3090 24 / B60 24RTX 5090 32 / R9700 32вся модель в VRAM; 24 ГБ — минимум, 32 ГБ — запас на KV
70B dense2×3090 48 / RTX PRO 5000 48Mac Studio 96 / RTX PRO 6000 9642 ГБ весов + KV; 48 ГБ — только 16k, 96 ГБ — комфорт
100B+ MoEStrix Halo 128 / DGX Spark 128RTX PRO 6000 96 / Mac Studio 12872–110 ГБ весов (120B Q4); 235B MoE Q4 — 192 ГБ+
Длинный контекст 64k+RTX 5090 32RTX PRO 6000 96 / Mac Studio 128KV растёт линейно; q8 KV и запас 2 ГБ
Несколько пользователейRTX PRO 6000 96 + vLLM2×PRO 6000 / сервербатчинг, PagedAttention, изоляция слотов
Тишина и мало ваттMac mini M5 ProMac Studio / DGX Spark / Strix Halo140–150 Вт, 13–29 дБА
Бюджет и офлайнб/у 3090 242×3090 48дешёвая память, CUDA, но шум и нет гарантии

14. Дерево решений

flowchart TB
    A["Задача и бюджет"] --> B{"Сколько памяти<br/>нужно сейчас?"}
    B -->|"≤ 16 ГБ"| C["16 ГБ:<br/>5060 Ti / 5070"]
    B -->|"24–32 ГБ"| D["24–32 ГБ:<br/>3090 б/у, 5090,<br/>R9700, B60"]
    B -->|"48–96 ГБ"| E["48–96 ГБ:<br/>PRO 5000/6000,<br/>2×3090, Mac Studio"]
    B -->|"128 ГБ+"| F["128 ГБ+:<br/>Mac Studio, DGX Spark,<br/>Strix Halo"]
    C --> G{"Что важнее?"}
    D --> G
    E --> G
    F --> G
    G -->|"скорость"| H["NVIDIA + CUDA"]
    G -->|"тишина и ватты"| I["Apple / DGX Spark"]
    G -->|"цена за ГБ"| J["AMD / Intel / б/у"]

Сначала память — она решает, что запустится; потом приоритет. Если объём неизвестен, вернитесь к главе 13.

15. Красные флаги ноября 2026

  • 8 ГБ и «две по 16». Для LLM нужен один пул 16+ ГБ; 8 ГБ — только 7–8B Q4, две 16 не заменяют 32.
  • RTX 5090 за $6 900 / 950 тыс. ₽. Это цена дефицита, а не производительности; при нагрузке < 2 000 ч/год — аренда.
  • DGX Spark 64 ГБ за $4 999. За +$1 951 — вдвое больше памяти; 64 ГБ — маркетинговый компромисс.
  • «1 PFLOPS» / «3352 TOPS» и серверная DDR5. Пики FP4 не про декод; 64 ГБ RDIMM за ~$3 000 — не время собирать CPU-only с нуля.
  • Серый импорт и б/у 3090. Разница 30–40 % часто означает «без возврата»; у 3090 проверяйте термопрокладки, память 100–110 °C и тест под нагрузкой.

Ключевые идеи

  • Память решает, что запустится; ПСП — как быстро; софт — заработает ли.
  • 16 ГБ в 2026 году — минимум для 14B Q4 с длинным контекстом, 24–32 ГБ — комфорт для 30B, 48–96 ГБ — для 70B, 128 ГБ+ — для 100B+ MoE.
  • RTX 5090 — самая быстрая потребительская карта, но цена в 2,5–3,5 раза выше MSRP; 5090D v2 — не замена.
  • Б/у 3090 24 ГБ — лучший бюджетный вход в 30B; 2×3090 по NVLink — 48 ГБ за разумные деньги.
  • AMD R9700 даёт 32 ГБ и ECC, но prefill в 2,6–3,4 раза медленнее 5090; Intel B60/B70 — 24–32 ГБ за небольшие деньги, если готовы к SYCL.
  • Apple и Strix Halo — это 128 ГБ и тишина, но 3–21 ток/с на 70B; DGX Spark — 128 ГБ с CUDA и ценой как у подержанной машины.
  • Ноябрь 2026 — рынок продавца: покупайте под задачу, не «под будущее»; считайте электричество и точку безубыточности аренды.

Проверь себя

  1. Почему RTX 5090 с 1,8 ТБ/с не всегда быстрее Mac Studio M5 Ultra с 1,2 ТБ/с?
  2. Почему две карты по 16 ГБ не заменяют одну на 32 ГБ?
  3. Что такое объединённая память и почему 128 ГБ в Mac — не то же самое, что 128 ГБ VRAM?
  4. Когда CPU-only имеет смысл, а когда это потеря времени?
  5. Как посчитать, что дешевле — купить RTX 5090 за 800 тыс. ₽ или арендовать её по 56–97 ₽/ч?

Ответы

  1. Важны не только ПСП, но и объём одного пула, prefill и софт. На 70B Q8 или 120B MoE Mac выигрывает объёмом; на модели до 32 ГБ 5090 быстрее.
  2. Две карты — два пула; tensor parallel добавляет all-reduce, layer split — ожидание. Одна 32-гиговая проще, кроме 2×3090 по NVLink.
  3. Это общий пул CPU/GPU без копирования по PCIe, но с меньшей ПСП, резервом ОС и без CUDA. 128 ГБ Mac — 460–1200 ГБ/с, не 1,8 ТБ/с.
  4. Когда важны объём и цена за гигабайт, а не задержка: пакетная обработка, огромный контекст, сервер уже есть, данные нельзя выносить. Для чата 1–2 ток/с — потеря времени.
  5. Разделите цену железа на разницу «аренда минус электричество»: 800 000 / (56 − 7) ≈ 16 300 ч для Community Cloud и 800 000 / (97 − 7) ≈ 8 900 ч для Secure. По 8 часов в день это 5,6 и 3 года; если нагрузка меньше — аренда, если 24/7 — покупка. Та же формула работает для любой карты.

Источники главы

  • NVIDIA GeForce RTX 5090 — Specifications — NVIDIA, 2026. nvidia.com. 32 ГБ GDDR7, 575 Вт, 1000 Вт БП, NVLink нет.
  • NVIDIA RTX PRO 6000 Blackwell Workstation Edition — NVIDIA, 2026. nvidia.com. 96 ГБ, 1792 ГБ/с, 600 Вт, 4000 AI TOPS.
  • Lenovo Press, RTX PRO 6000 Blackwell Max-Q — Lenovo, 2026. lenovopress.lenovo.com. Прямо указывает «NVLink support: No».
  • NVIDIA RTX PRO 5000 Blackwell — NVIDIA, 2026. nvidia.com. 48/72 ГБ, 1344 ГБ/с, 300 Вт.
  • NVIDIA DGX Spark — Specifications — NVIDIA, 2026. nvidia.com. 128 ГБ LPDDR5X, 273 ГБ/с, 140 Вт, 1 PFLOPS FP4, 29 дБА.
  • AMD Radeon AI PRO R9700 — AMD, 2026. amd.com. 32 ГБ, 640 ГБ/с, 300 Вт, ECC, ROCm.
  • Intel Arc Pro B-Series — Intel, 2026. intel.com. B50/B60/B65/B70: 16–32 ГБ, 224–608 ГБ/с, 70–230 Вт.
  • Apple Mac Studio (M5 Max/M5 Ultra) — Tech Specs — Apple, 2026. support.apple.com. 36–512 ГБ, 460–1200 ГБ/с.
  • Apple Mac mini (M6/M5 Pro) — Tech Specs — Apple, 2026. support.apple.com. 16–64 ГБ, 153–307 ГБ/с.
  • AMD EPYC 9005 Series — AMD, 2026. amd.com. 12 каналов DDR5-6400, 614 ГБ/с на сокет.
  • AMD Ryzen Threadripper 9000 — AMD, 2026. amd.com. TRX50 — 4 канала, WRX90 — 8 каналов, 80–128 линий PCIe 5.0.
  • llama.cpp — Backend/build docs — ggml-org, 2026. GitHub. CUDA, HIP, SYCL, Metal, Vulkan, CPU.
  • llama.cpp — SYCL backend — ggml-org, 2026. GitHub. Сборка и запуск на Intel GPU.
  • MLX — Apple Machine Learning Research, 2026. GitHub. Фреймворк для Apple Silicon.
  • ROCm — System requirements — AMD, 2026. docs.amd.com. Поддержка Radeon AI PRO и RDNA.
  • vLLM — Installation — vLLM, 2026. docs.vllm.ai. CUDA, ROCm, XPU.
  • Fusion Worldwide, «RDIMM Shortage 2026» — 2026. fusionww.com. Рост цен DRAM и RDIMM.
  • Tom’s Hardware, «Nvidia doubles RTX PRO 6000 Blackwell’s MSRP to $16,000» — 2026. tomshardware.com. Динамика цен professional-карт.
  • RunPod — RTX 5090 и H100 — 2026. runpod.io, H100. Цены аренды.
  • Selectel — GPU-серверы — 2026. selectel.ru. Российские цены аренды.
  • HOSTKEY — аренда H100/A100 — 31.08.2026. hostkey.ru. 207 и 153 ₽/ч.
  • AI Infra in Depth — hardware dataset — Bojie Li, 2026. GitHub, JSON. Apache-2.0. Сверка ПСП и объёмов 151 устройства; использован для Apple M5/M6, RTX PRO 6000, A6000 и RTX 6000 Ada.