Как выбрать железо для локального инференса
Зачем эта глава. Глава 13 отвечает, какая модель влезет в вашу память. Эта глава — о том, на чём её запускать: какие карты, боксы и платформы продаются в ноябре 2026 года, сколько они стоят, что на них реально работает и где начинаются подводные камни. Железо не делает модель умнее. Оно решает три вещи: поместится ли она, с какой скоростью будет отвечать и сколько это будет стоить в рублях, ваттах и децибелах.
За 30 секунд
- Память решает, что запустится. Пропускная способность решает, как быстро пойдёт декод. Софт решает, заработает ли вообще.
- Ноябрь 2026 — плохое время для покупки: кризис памяти поднял цены видеокарт и серверной ОЗУ в 1,5–3 раза выше MSRP. Покупайте под задачу, которая есть сейчас, а не «под будущее».
- Одна карта с 24–32 ГБ часто полезнее двух по 16 ГБ: модель должна помещаться в один пул, а не делиться по PCIe.
- 128 ГБ объединённой памяти — это про модели на 70–120 млрд параметров в Q4 (235B MoE — уже 192–256 ГБ), но декод dense-моделей будет 3–60 ток/с, а не 200. Считайте по формуле из главы 2, а не по маркетингу.
- Если нагрузка меньше ~500 часов в год, аренда GPU почти всегда дешевле покупки. Если больше 2 000 часов в год и данные нельзя выносить — покупка.
1. Три числа, которые решают всё
Любой вариант железа описывается тремя числами.
1. Объём памяти. Сколько весов, KV-кэша и буферов помещается одновременно. Считается по формулам глав 4 и 6:
вес + KV + буферы + запас ≤ доступная память
Для Q4_K_M удобно брать 0,6 ГБ на миллиард параметров. Тогда 8B — около 4,8 ГБ, 14B — 8,4 ГБ, 32B — 19,2 ГБ, 70B — 42 ГБ, 120B MoE — около 72 ГБ, 235B MoE — около 141 ГБ. KV-кэш на длинном контексте добавляет единицы или десятки гигабайт — глава 6.
2. Пропускная способность памяти (ПСП). Сколько гигабайт в секунду можно прочитать. Потолок декода:
ток/с ≈ ПСП ÷ байт активных весов на токен
Для dense это все параметры, для MoE — только активные. Реально получается 50–75 % потолка (глава 2). У 70B dense в Q4_K_M на токен читается ~42 ГБ: карта с 1 ТБ/с даёт потолок ~24 ток/с, реально 12–18.
3. Софт. CUDA, ROCm, SYCL, Metal, Vulkan, MLX. Одна и та же карта может быть отличной в llama.cpp и бесполезной в vLLM. Поэтому «характеристики» — только половина ответа.
Note
Дальше в таблицах я даю потолок и реалистичный диапазон (50–75 % от потолка) для одного слота. Это оценки по формуле, а не замеры. Ваш рантайм, квант и длина контекста дадут другой результат — проверяйте по методике главы 12.
1.1 Почему ноябрь 2026 — особый случай
Рынок перекошен спросом на память: контрактные цены DRAM выросли на 93–98 % в 1 кв. 2026 и ещё на 58–63 % во 2 кв. (Fusion Worldwide, 2026). Следствия:
- RTX 5090: MSRP $1 999 → $4 999–6 919 (BestValueGPU, 12.10.2026; Tech Insider, 05.11.2026).
- RTX PRO 6000: $8 565 → $16 000 (Tom’s Hardware, 2026).
- DGX Spark: $3 999 → $4 699 → $6 950; 64 ГБ — $4 999 (The Register, 02.10.2026; ServeTheHome, 2026).
- RTX 50 Super — не раньше 2027; 5080 24 ГБ может пропустить январь (WCCFtech, 03.11.2026). Ждать бессмысленно.
Warning
Все цены в главе — на 7 ноября 2026 года, если рядом не указана другая дата. Курс ЦБ РФ на 06.11.2026 — 81,79 ₽ за доллар (ЦБ РФ). Долларовые цены — уличные в США и Европе, без налогов; рублёвые — российские магазины и маркетплейсы, часто с серым импортом. Разброс в 1,5–2 раза внутри одной модели — норма. Наличие в РФ нестабильно: DNS и Citilink часто продают «под заказ», Avito — наличием; проверяйте перед покупкой. Там, где надёжного источника не было, написано «не нашёл», а не придуманное число.
1.2 Электричество и шум — часть цены
Стоимость энергии считается так:
₽/год = мощность, Вт × часы в год × тариф / 1000
Московский одноставочный тариф для населения с 1 октября 2026 года — 8,90 ₽/кВт·ч (info-gkh.ru, 2026; Мосэнергосбыт). Возьмём типичные системные 150 Вт сверху к видеокарте:
| Конфигурация | Мощность | 8 ч/день, ₽/год | 24/7, ₽/год |
|---|---|---|---|
| RTX 5090 + ПК | ~725 Вт | ~18 800 | ~56 500 |
| 2×RTX 3090 + ПК | ~850 Вт | ~22 100 | ~66 200 |
| Mac Studio M5 Max | ~150 Вт | ~3 900 | ~11 700 |
| DGX Spark / Strix Halo | ~140 Вт | ~3 600 | ~10 900 |
575 Вт в маленькой комнате — это постоянный источник тепла и звука. Боксы на 140 Вт можно ставить на стол; 4×5090 — только в отдельную комнату.
Рисунок. Память, ПСП и цена устройств: логарифмические оси, размер кружка — уличная цена США. Правый верх — серверные CPU: объём есть, скорости нет; их цены — оценка. Данные — таблицы главы; ПСП/объёмы сверены с AI Infra in Depth (Apache-2.0); цены — ноябрь 2026.
Prefill — отдельная история. У дискретных NVIDIA он быстрый: тысячи ток/с на 8B и сотни на 30–70B. У R9700 — в 2,6–3,4 раза медленнее 5090; у Apple и Strix Halo — ещё медленнее, особенно на длинном промпте; у CPU — десятки–сотни ток/с. Поэтому RAG с длинными документами и агент с большим системным промптом на unified-боксах ощущаются иначе, чем на 5090, даже когда декод у них сопоставим.
2. NVIDIA для потребителя: RTX 50 и остатки RTX 40
Это самый простой путь: CUDA, llama.cpp, vLLM, Ollama, TensorRT-LLM — всё работает. Вопрос только в том, сколько вы готовы заплатить за память и пропускную способность.
| Карта | VRAM | ПСП, ГБ/с | TDP | США, $ | Россия, ₽ | Кому |
|---|---|---|---|---|---|---|
| RTX 5090 | 32 | 1792 | 575 | 4 999–6 919 ↗ | 750–950 тыс. ↗ | 30B dense, 30B-A3B, длинный контекст |
| RTX 5080 | 16 | 960 | 360 | 1 290–1 866 ↗ | 202–210 тыс. ↗ | 14B Q4; 30B MoE с выгрузкой |
| RTX 5070 Ti | 16 | 896 | 300 | 990–1 150 ↗ | ~150 тыс. ↗ | то же, дешевле и медленнее |
| RTX 5070 | 12 | 672 | 250 | 779–909 ↗ | 105–113 тыс. ↗ | 8–9B Q4 с запасом, 14B на грани |
| RTX 5060 Ti 16 | 16 | 448 | 180 | 500–780 ↗ | 80–92 тыс. ↗ | 8–14B Q4, бюджетный вход |
| RTX 5060 8 | 8 | 448 | 145 | 330–380 ↗ | 54–55 тыс. ↗ | только 7–8B Q4, без запаса |
Цены в таблице — на 07.11.2026. MSRP на старте: 5090 — $1 999, 5080 — $999, 5070 Ti — $749, 5070 — $549, 5060 Ti — $429, 5060 — $299. То есть текущие улицы — это +10–250 % к рекомендованной цене; в Европе добавьте НДС, обычно +15–20 %. В России разброс больше: например, RTX 5090 в DNS и «Регарде» идёт за 750–950 тыс. ₽, а на Авито встречаются предложения «под заказ» около 500 тыс. ₽ (3DNews, 02.11.2026). Гарантия и происхождение при такой разнице — не формальность. DNS/Citilink — официальная розница; агрегаторы серого импорта на те же даты дают в 1,5–2 раза ниже (5060 Ti — от ~50 тыс., 5080 — от ~116 тыс., 5070 — от ~60 тыс. ₽), но без гарантии (GPUPrices, 31.10.2026).
2.1 RTX 5090: 32 ГБ и 1,8 ТБ/с, но за них просят как за автомобиль
Спецификация: 21 760 CUDA-ядер, 32 ГБ GDDR7, 512-битная шина, 1792 ГБ/с, 575 Вт, рекомендуемый БП 1000 Вт, длина 304 мм, 2 слота у Founders Edition, 3352 AI TOPS в FP4 с разреженностью (NVIDIA, 2026). NVLink нет — только PCIe 5.0 x16. FP4 есть у 50-й серии, у 40-й — только FP8; для GGUF это почти не важно, для vLLM с FP8/FP4 — важно.
Что реально:
- 8B Q4 (4,8 ГБ) — 190–280; 14B (8,4 ГБ) — 110–160; prefill — тысячи ток/с.
- 32B dense Q4 (19,2 ГБ) — 47–70, с 32k и q8 остаётся ~7–9 ГБ; 30B-A3B MoE — 250–400 (потолок ~996, мешают attention и роутинг).
- 70B dense Q4 (42 ГБ) — не влезает; с выгрузкой слоёв в ОЗУ — 3–8 ток/с.
Плюсы: лучший декод, 32 ГБ, CUDA. Минусы: 2,5–3,5× MSRP, 575 Вт, 12V-2x6, БП 1000 Вт, шум, 2–3 слота.
Warning
RTX 5090D v2 — не «дешёвая 5090». Китайская версия для обхода экспортных ограничений: те же 21 760 CUDA, но 24 ГБ на 384-битной шине, 1344 ГБ/с вместо 1792 и 2375 AI TOPS вместо 3352, плюс встроенное ограничение ИИ-производительности (NVIDIA China, 2026; Guru3D, 15.08.2025). В России её продают за 400–440 тыс. ₽ (Metaratings, 2026). Для 30B dense и 70B-с-выгрузкой она интересна, для честной 5090 — нет: меньше память, ниже ПСП и срезанный ИИ.
2.2 RTX 5080 и 5070 Ti: 16 ГБ — новый минимум
Обе карты дают 16 ГБ, но разную ПСП: 960 ГБ/с у 5080 и 896 ГБ/с у 5070 Ti. Для декода это почти одна лига; разница заметна в prefill и играх. TDP 360 и 300 Вт, длина около 304 мм, 2–3 слота — в компактный корпус такие карты не влезут.
Что реально:
- 8B Q4 — 100–150 (5080) и 93–140 (5070 Ti); 14B Q4 — 57–86 и 53–80, 32k с q8 помещается.
- 32B dense Q4 и 70B — не влезают: 19,2 ГБ весов больше 16 ГБ; 30B MoE Q4 (~18 ГБ) — только с выгрузкой.
16 ГБ — минимум для 14B Q4 с длинным контекстом; 32B dense — нет. Если бюджет позволяет, 24–32 ГБ дают больше возможностей, чем +10 % скорости.
2.3 RTX 5070 и 5060 Ti: где заканчивается комфорт
RTX 5070 (12 ГБ, 672 ГБ/с, 250 Вт) — 8–9B Q4 с 32k комфортно; 14B Q4: 8k ~11,6 ГБ, 16k ~12,3 ГБ (на грани), 32k нет. 32B нет.
RTX 5060 Ti 16 (16 ГБ, 448 ГБ/с, 180 Вт) — 14B Q4 с 32k и 8B 47–70 ток/с; версия 8 ГБ — только 7–8B Q4 на 8k.
RTX 5060 8 — 7–8B Q4, 8k; 16k уже не оставляет запаса.
2.4 RTX 40: дешёвое б/у и никакой гарантии
Серия снята с производства, но на вторичке ещё много карт. Главное отличие от 50-й серии — нет FP4 и нет DLSS 4, но для GGUF это почти не важно; FP8 у Ada есть, CUDA — та же.
Б/у 40-я серия: 4090 24 ГБ (1008 ГБ/с, 450 Вт, $2 496–3 800 ↗, 145–270 тыс. ₽ ↗); 4080/4080 Super 16 ГБ (717–736 ГБ/с, $800–930), 4070 Ti Super 16 (672, $720–800), 4060 Ti 16 (288, цену не нашёл) (SellGPU). 4080/4070 Ti Super проигрывают новой 5060 Ti 16 по гарантии и цене за ГБ.
Посчитай сам. Есть 24 ГБ VRAM и 32B dense в Q4_K_M. Хватит ли контекста 32k, если KV-кэш в q8_0, а на буферы и запас оставить 2,5 ГБ? Конфиг: 48 слоёв, 8 KV-голов, d_head = 128.
Решение
вес: 32 × 0,6 = 19,2 ГБ
KV: 2 × 48 × 8 × 128 × 1,06 × 32 768 ≈ 3,41 ГБ
буферы: 1,0 ГБ
запас: 1,5 ГБ
итого: 19,2 + 3,41 + 1,0 + 1,5 = 25,11 ГБ
Не хватает около 1,1 ГБ. Варианты: контекст 24k (KV ~2,56 ГБ, итого ~24,3 ГБ — всё ещё на грани), KV в q4_0 (около 1,8 ГБ, итого ~23,5 ГБ), квант Q4_K_S или 32 ГБ карта. Вывод: 24 ГБ для 32B Q4 с 32k — мало; 32 ГБ — комфортно. Это ровно тот случай, когда «влезает» и «работает» — разные вещи.
3. Б/у 3090 и профессиональные карты: память без скорости
Когда нужно много памяти, а бюджет не резиновый, есть два пути: вторичка и профессиональные карты.
3.1 RTX 3090 24 ГБ — народный выбор для 30B
3090 — это 24 ГБ GDDR6X, 936 ГБ/с, 350 Вт, 2×8-pin (у Founders Edition — 12-pin), длина около 313 мм, 3 слота. NVLink есть: две карты объединяются в 48 ГБ с пропускной способностью моста 112,5 ГБ/с. Для 2020 года это был флагман; в 2026-м — рабочий инструмент за 115–140 тыс. ₽ на Авито (Авито, 07.11.2026). В США медиана проданных — $1 586 за 14 дней к 04.11.2026 (GPU Sold, 04.11.2026). 3090 стартовала с $1 499, 4090 — с $1 599; сегодняшние б/у цены близки к этим MSRP, что для четырёх-пятилетних карт ненормально.
Что реально:
- 8B Q4 — 98–146; 14B — 56–83; 32B — 24–37 (только 16k; 32k в 24 ГБ не помещается).
- 30B-A3B MoE — 150–250.
- 70B Q4 не влезает; две 3090 по NVLink (48 ГБ) — 16–24.
Плюсы: 24 ГБ, NVLink, CUDA, ремонтопригодность, выбор на вторичке. Минусы: нет FP8/FP4, нагрев памяти 100–110 °C, майнинг, нет гарантии. Проверяйте артефакты, термопрокладки, разъёмы, NVLink-мост.
3.2 Профессиональные RTX PRO: ECC, blower и гарантия
| Карта | VRAM | ПСП, ГБ/с | TDP | США, $ | Что реально |
|---|---|---|---|---|---|
| RTX PRO 4000 | 24 | 672 | 140 | 3 050 ↗ | 32B Q4 только 16k; 14B комфортно; 1 слот |
| RTX PRO 4500 | 32 | 896 | 200 | 5 726 ↗ | 32B Q4 с запасом, 70B нет |
| RTX PRO 5000 | 48 | 1344 | 300 | 7 300 ↗ | 70B Q4 16–24 ток/с; 32B 35–53 |
| RTX PRO 6000 | 96 | 1792 | 600 | 16 000 ↗ | 70B Q4 21–32; 70B Q8 12–18; 120B MoE 150–250 |
| RTX A6000 (б/у) | 48 | 768 | 300 | ~3 750 ↗ | 70B Q4 9–14; без FP8, но 48 ГБ |
| RTX 6000 Ada (б/у) | 48 | 960 | 300 | ~5 225 ↗ | 70B Q4 11–17; FP8, но NVLink нет |
На 48 ГБ 70B Q4 помещается с контекстом около 16k; для 32k нужно 64–96 ГБ. ECC, blower и трёхлетняя гарантия — это +1,5–3× к цене за гигабайт. Российских розничных цен на PRO-карты я не нашёл: они продаются через интеграторов. Версия PRO 5000 на 72 ГБ — $8 999–9 999 (Newegg, 11.2026) и держит 70B Q4 с 32k. У PRO 6000 есть Max-Q на 300 Вт — меньше шума, ниже потолок мощности.
Note
В главе 13 для 48 ГБ стоит 12–18 ток/с. Это тот же расчёт с более консервативным запасом; для PRO 5000 и пары 3090 в таблице 16–24 — потолок 50–75 %, для A6000/6000 Ada — 9–14/11–17 по их ПСП. Для планирования берите 12–18.
Важно про NVLink. В RTX PRO 6000 Blackwell нет NVLink — ни в Workstation, ни в Server Edition; в спецификации Lenovo прямо написано «NVLink support: No» (Lenovo Press, 2026). Две карты по 96 ГБ работают как два отдельных пула на 192 ГБ, общаются по PCIe 5.0 x16. Для layer split это нормально, для tensor parallel — медленнее. У старых A6000 (Ampere) NVLink был; у RTX 6000 Ada и RTX PRO 6000 Blackwell его уже нет. Именно поэтому A6000 до сих пор берут для 2×48 ГБ, а RTX 6000 Ada — уже нет.
Tip
Если нужен именно один пул на 96 ГБ и CUDA — RTX PRO 6000 вне конкуренции. Если нужен 192 ГБ и вы готовы платить за две карты, сначала проверьте, умеет ли ваш рантайм нормально работать с двумя пулами по PCIe. vLLM умеет tensor parallel, llama.cpp — layer split; для второго NVLink не критичен.
4. AMD: 32 ГБ дешевле, но с оговорками
AMD в 2026 — это Radeon AI PRO R9700: 32 ГБ GDDR6, 640 ГБ/с, 300 Вт, 95,7 TFLOPS FP16 (векторных), 1531 TOPS INT4, ECC на Linux, 2 слота, blower. Вентилятор слышно — плата за плотность (AMD, 2026; AI Miracle, 13.10.2026). MSRP $1 299, улица $1 320–1 699 (Newegg, 11.2026).
Что реально (по независимым тестам и формуле):
- 8B Q4 — 67–100; 14B — 38–57; 32B — 17–25 (32k помещается); 70B — нет; 30B-A3B — 150–250.
- Prefill в 2,6–3,4 раза медленнее 5090, декод — примерно в 1,5 раза (Local AI Master, 2026). Для RAG и длинных промптов это чувствуется.
Софт: ROCm 7 на Linux, официальная поддержка R9700 (gfx1201), llama.cpp HIP и Vulkan, vLLM ROCm, Ollama. На Windows — Vulkan/Adrenalin, ROCm ограничен. Проверяйте, собран ли бэкенд под вашу карту и версию драйвера.
RX 9070 XT 16 ГБ — тот же Navi 48, 640 ГБ/с, 304 Вт, MSRP $599, улица $760–919 (BestValueGPU, 11.2026). В России — от 65 тыс. ₽ на Авито (Авито, 07.11.2026) до ~110 тыс. ₽ в рознице (GPUPrices, 30.10.2026). Для 8–14B Q4 — отлично, для 32B мало памяти; ROCm у RDNA4 сырее, чем у R9700.
RX 9060 XT 16 ГБ — 320 ГБ/с, 160 Вт, MSRP $349, улица ~$500; в России 73–89 тыс. ₽ (Citilink, 2026). 8B — 40–60, 14B — 20–30; бюджетно, но ПСП низкая.
| Карта | VRAM | ПСП, ГБ/с | TDP | США, $ | Россия, ₽ | Комментарий |
|---|---|---|---|---|---|---|
| Radeon AI PRO R9700 | 32 | 640 | 300 | 1 320–1 699 ↗ | не нашёл | 32 ГБ, ECC, blower для плотных сборок |
| RX 9070 XT | 16 | 640 | 304 | 760–919 ↗ | 65–110 тыс. ↗ | быстрая 16-гиговая, ROCm хуже |
| RX 9060 XT 16 | 16 | 320 | 160 | ~500 ↗ | 73–89 тыс. ↗ | тихая, но медленная |
Warning
AMD — Linux-first. В Windows проверьте ROCm/Vulkan до покупки: R9700 поддержан официально, 9070 XT — зависит от сборки. CUDA-инструменты (TensorRT-LLM и часть quantization) не заработают.
5. Intel: 24–32 ГБ за небольшие деньги, если готовы к SYCL
Intel Arc Pro — самый недооценённый вариант 2026 года. Карты дают много памяти за деньги, но требуют Linux и терпения.
| Карта | VRAM | ПСП, ГБ/с | TDP | США, $ | Россия, ₽ | Что реально |
|---|---|---|---|---|---|---|
| Arc Pro B50 | 16 | 224 | 70 | ~299 ↗ | не нашёл | 8B Q4, 14B Q4 медленно |
| Arc Pro B60 | 24 | 456 | 200 | 934–1 025 ↗ | 110 300 ↗ | 14B Q4 27–41; 32B Q4 12–18 |
| Arc Pro B70 | 32 | 608 | 230 | 1 932–2 059 ↗ | не нашёл | 32B Q4 16–24; 70B нет |
B60 — 20 Xe, 24 ГБ GDDR6, 456 ГБ/с, 200 Вт, PCIe 5.0 x8, 8-pin, blower, ~267 мм у большинства партнёров. MSRP $599, улица $934–1 025; в РФ 110 300 ₽ (ServerFlow, 07.11.2026). Дороже 3090 б/у при меньшей скорости, но новая, с ECC и 200 Вт.
B70 — 32 Xe, 32 ГБ, 608 ГБ/с, 230 Вт, 22,9 TFLOPS FP32, 367 TOPS INT8 (Intel, 2026). Цена выросла с $949 до $1 900–2 060; 32B — 16–24, 14B — 36–54.
Софт: llama.cpp SYCL, vLLM XPU, Ollama, OpenVINO, PyTorch XPU; на Linux — драйвер xe, GuC и сборка с -DGGML_SYCL=ON. 4×B60 (96 ГБ) в независимом тесте: 82,4 ток/с на Qwen3-Coder-30B-A3B, 119 ток/с на 12 параллельных запросов (130B), 211 Вт в тесте (паспорт 4×200 Вт) (ninabot.ch, 10–11.09.2026). Хорошо для 96 ГБ за ~$3,7 тыс., если хватает PCIe x8.
Note
Intel — не «просто работает»: проверяйте драйвер, GuC, образ llama.cpp/vLLM и кванты; IPEX-LLM меняет статус. Для минимального риска — не первый выбор.
6. Apple: 128–512 ГБ, тихо, но медленно
Apple Silicon — это объединённая память: CPU и GPU видят один пул, веса не копируются по PCIe. Плата за это — пропускная способность ниже, чем у дискретных карт, и отсутствие CUDA.
| Машина | Память | ПСП, ГБ/с | Цена США, $ | Цена РФ, ₽ | Что реально |
|---|---|---|---|---|---|
| Mac mini M6 | 16–32 | 153 / 170 | 899 ↗ | не нашёл | 8B Q4 32–48; 14B 18–27 |
| Mac mini M5 Pro | 24–64 | 307 | 1 699 ↗ | 215–280 тыс. ↗ | 14B 18–27; 32B 8–12 |
| Mac Studio M5 Max | 36–128 | 460 / 614 | 2 499 ↗ | 248–824 тыс. ↗ | 70B/120B — только 64/128 ГБ; 70B Q4 7–11; 120B MoE 60–100 |
| Mac Studio M5 Ultra | 96–512 | 1 200 | 5 499 ↗ | 853 тыс. (96/1 ТБ) ↗ | 70B Q4 14–21; 120B MoE 150–250; 235B MoE — только 256–512 ГБ |
Тот же M5 Max с 128 ГБ — в MacBook Pro 16 за $7 399 (Apple, 2026) — для мобильной работы. Официальные ПСП: M5 Max 36 ГБ — 460 (40-ядерный — 614), M5 Ultra — 1200, M6 — 153/170, M5 Pro — 307 (Apple, Apple, 2026).
Что реально:
- Mac mini M5 Pro 64 ГБ — 32B Q4 8–12 ток/с, 14B 18–27, 8B 32–48. Тихий, 12,7×12,7×5 см, ~100 Вт. Для чата и одного агента — отлично; для 70B — мало памяти или медленно.
- Mac Studio M5 Max 128 ГБ — 70B Q4 7–11 ток/с, 120B MoE Q4 60–100, 32B 16–24. Корпус 19,7×19,7×9,5 см, почти бесшумный. Для 70B это рабочий, но не быстрый вариант; для MoE с малым числом активных — вполне.
- Mac Studio M5 Ultra 96–512 ГБ — 1,2 ТБ/с меняет картину: 70B Q4 14–21, 70B Q8 8–12, 120B MoE 150–250; 235B MoE Q4 (~141 ГБ) влезает только в конфигурации на 256–512 ГБ и идёт там на 35–60 ток/с. Это самый доступный способ держать 235B MoE в одном пуле без сервера. 512 ГБ — для моделей на 400B+ и очень длинного контекста, цена «как автомобиль».
MLX против llama.cpp Metal. MLX лучше использует объединённую память и MXFP4, часто быстрее на prefill; llama.cpp Metal зрелее по моделям и флагам, декод близок к ПСП. Для одного пользователя разница 10–30 % на prefill; для сервера с слотами удобнее llama.cpp.
Warning
Объединённая память — не бесконечная VRAM. macOS резервирует часть пула; лимит поднимается через
sudo sysctl iogpu.wired_limit_mb=<МБ>, но оставьте 8–16 ГБ системе. 128 ГБ при 460–1200 ГБ/с — не 1,8 ТБ/с: на 70B Q4 разница в декоде 1,5–4 раза.
7. NVIDIA DGX Spark: 128 ГБ CUDA на столе
DGX Spark — маленькая коробка на GB10 Grace Blackwell: 20-ядерный ARM (10×Cortex-X925 + 10×Cortex-A725), GPU Blackwell, 128 ГБ LPDDR5X, 273 ГБ/с, 1 PFLOPS FP4 (с разреженностью), TDP 140 Вт, БП 240 Вт, 150×150×50,5 мм, 1,2 кг, шум 29 дБА под нагрузкой и 13 дБА в простое по таблице ECMA-109 (NVIDIA, 2026). Цена — $6 950 за 128 ГБ, $4 999 за 64 ГБ; у партнёров (Acer, ASUS, Dell, Gigabyte, HP, Lenovo, MSI) — $5 660–9 097 (The Register, 02.10.2026; pi3g, 24.09.2026). В России — 860 185 ₽ в NIX на 06.11.2026 (NIX, 06.11.2026).
Что реально:
- 8B Q4 — 28–43; 14B — 16–24; 32B — 7–11.
- 70B Q4 — 3–5 (Q8 — 1,5–2,5); 120B MoE — 30–50.
- 235B MoE Q4 в 128 ГБ не влезает; Q3/IQ3 — на грани, 5–10. Prefill — средне-быстрый CUDA, но не 5090.
Плюсы: 128 ГБ одним пулом, CUDA-стек, тихо, 1,2 кг; до 4 узлов по 200 Гбит/с (шардинг — на фреймворке). Минусы: 273 ГБ/с, ARM, память распаяна, цена выросла; 64 ГБ за $4 999 — плохой выбор.
Note
«1 PFLOPS FP4» — пик для разреженных тензоров; декод упирается в 273 ГБ/с, FP4 помогает prefill/батчингу. Не сравнивайте с 3352 TOPS напрямую.
8. AMD Strix Halo: 128 ГБ по цене видеокарты
Ryzen AI Max+ 395 («Strix Halo») — APU с 16 ядрами Zen 5, Radeon 8060S (40 CU) и 128 ГБ LPDDR5X-8000 на 256-битной шине, 256 ГБ/с, до 126 TOPS (50 NPU), TDP 55–120 Вт, системное потребление мини-ПК 120–140 Вт. Это x86, Windows и Linux, без CUDA.
| Бокс | Память | Цена США, $ | Россия, ₽ | Комментарий |
|---|---|---|---|---|
| Framework Desktop | 128 | 3 449 ↗ | не нашёл | mini-ITX, ремонтопригодный, Linux-first |
| GMKtec EVO-X2 | 128 | 3 649 ↗ | 193–387 тыс. ↗ | самый массовый |
| Beelink GTR9 Pro | 128 | 4 349 ↗ | не нашёл | дороже, больше портов |
| Minisforum MS-S1 Max | 128 | 3 799 ↗ | не нашёл | 2×10GbE, 2U-опция |
Цены в России — от 193 тыс. ₽ на Яндекс Маркете (серый импорт) до 387–414 тыс. ₽ на Wildberries/Ozon. Разброс объясняется происхождением, гарантией и комплектацией; проверяйте, что именно 128 ГБ, а не 64 или 32.
Что реально:
- 8B Q4 — 27–40; 14B — 15–23; 32B — 7–10.
- 70B Q4 — 3–4,5; 120B MoE — 25–45.
- 235B MoE Q4 в 128 ГБ не влезает; Q3/IQ3 — 5–10. Prefill слабее NVIDIA: длинный промпт идёт заметно дольше.
Плюсы: 128 ГБ за 200–400 тыс. ₽ — самая низкая цена за гигабайт; x86/Windows, 4,5 л, ~140 Вт. Минусы: 256 ГБ/с, ROCm на gfx1151 сырее, память распаяна, нет CUDA, шум под нагрузкой.
Tip
Strix Halo — если нужны 128 ГБ и тишина, а 3–4 ток/с на 70B устраивают. Быстрее — Mac Studio Ultra/PRO 6000; CUDA — DGX Spark.
9. CPU-only и серверная память: когда это имеет смысл
CPU-only почти никогда не выигрывает по скорости. Он выигрывает по объёму и цене за гигабайт, если у вас уже есть сервер или нужна пакетная обработка.
| Платформа | Каналов DDR5 | ПСП, ГБ/с | 70B Q4, ток/с | 8B Q4, ток/с | Когда брать |
|---|---|---|---|---|---|
| Десктоп, 2 канала | 2 | 80–100 | 1–1,4 | 8–13 | только 7–14B, офлайн |
| Threadripper TRX50 | 4 | ~205 | 2,5–3,7 | 21–32 | 30B, 70B офлайн, 1–2 GPU |
| Threadripper PRO WRX90 | 8 | ~410 | 5–7 | 43–64 | 70B, 4 GPU, много RAM |
| EPYC 9005 | 12 | 614 | 7–11 | 64–96 | сервер, 768 ГБ+, батчи |
| 2×EPYC 9005 | 24 | 1 228 | 15–22 | 128–192 | большие батчи, NUMA-тюнинг |
Цифры ПСП — теоретические: 12 каналов DDR5-6400 дают 614,4 ГБ/с на сокет (Supermicro, 2026); WRX90 — 8 каналов, около 410 ГБ/с; TRX50 — 4 канала, около 205 ГБ/с (NEMIX, 2026). Реальная ПСП ниже на 10–20 %, а на 70B добавляется NUMA и неоптимальные ядра. Intel Xeon 6 в старших моделях тоже даёт 8–12 каналов DDR5; по ПСП он близок к EPYC, но конкретную платформу, цену и поддержку б/у проверяйте отдельно (Intel, 2026).
Стоимость в 2026 году абсурдна: EPYC 9655P — около £10 999 (Overclockers UK, 2026), 64 ГБ RDIMM — порядка $3 000 (Fusion Worldwide, 2026). 768 ГБ на 12 каналах — $50–60 тыс. только за CPU, память и плату [оценка]; за это — 3–4 RTX PRO 6000 или стойка б/у 3090. Ориентиры для графика: десктоп на 2 каналах — ~$1,5 тыс., WRX90 на 8 каналах — ~$12 тыс. [оценка].
Когда CPU-only оправдан:
- Пакетная обработка: ночью прогнать 10 тысяч документов, скорость не важна.
- Огромный контекст/база: модель на 200B+ в Q4 не влезает ни в одну карту, а 768 ГБ ОЗУ — влезает.
- Сервер уже есть: вы докупаете память, а не всю платформу.
- Юридические ограничения: данные не могут покидать контур, а GPU нет.
Когда нет: интерактивный чат, агент с тулами, несколько пользователей. 70B на 1–2 ток/с — это не работа, а ожидание. И помните про шум: 1U-сервер с 12 каналами памяти и турбинными вентиляторами слышно из соседней комнаты; для дома нужен tower-корпус.
Warning
На двухсокетной системе каждый сокет — свой NUMA-узел; чтение «чужой» памяти почти вдвое снижает ПСП. Закрепляйте потоки (
numactl --cpunodebind) и проверяйте, что модель не размазана.
10. Несколько GPU: 48, 64, 96, 192 ГБ
Несколько карт нужны, когда одна не вмещает модель или когда нужен батчинг. Есть два режима:
- Layer split (llama.cpp
--split-mode layer): слои делятся между картами, каждая считает свои; по PCIe ходят только активации. Требует меньше пропускной способности, но на каждом шаге карты ждут друг друга. - Tensor parallel (vLLM): матрицы слоя делятся между картами, нужен all-reduce на каждом слое. Быстрее на prefill, но требует высокой пропускной способности между картами.
| Конфигурация | Память | ПСП суммарно | Мощность | Цена (оценка) | NVLink | Комментарий |
|---|---|---|---|---|---|---|
| 2×RTX 3090 | 48 | 1 872 | ~700 Вт | 230–280 тыс. ₽ ↗ | да, 112,5 ГБ/с | 70B Q4 16–24; лучший бюджет |
| 2×RTX 5090 | 64 | 3 584 | ~1 150 Вт | 1,5–1,9 млн ₽ [оценка] | нет | 70B Q4 24–40; БП 1600 Вт |
| 4×RTX 5090 | 128 | 7 168 | ~2 300 Вт | 3–3,8 млн ₽ [оценка] | нет | 120B MoE; только отдельная комната |
| 2×RTX PRO 6000 Workstation Edition | 192 | 3 584 | ~1 200 Вт | 2,6–3 млн ₽ [оценка] | нет | 235B MoE Q4 40–60; PCIe only |
| 4×Arc Pro B60 | 96 | 1 824 | ~800 Вт | ~440 тыс. ₽ [оценка] | нет | 30B-A3B 82 ток/с (тест) |
PCIe, питание и шум: 2×5090 — БП 1 600 Вт, 4× — 2,3 кВт и отдельная комната; 4 GPU требуют HEDT/сервер: у Ryzen 9 24 линии → x8/x8, у Threadripper/EPYC — 80–128. Подробнее — §1.2.
- NVLink. У 5090 его нет; у 3090 есть (2-way). У RTX PRO 6000 Blackwell нет. Для tensor parallel на 2×5090 all-reduce пойдёт по PCIe 5.0 x8 (32 ГБ/с в каждую сторону) — это может стать бутылочным горлышком на prefill. Для layer split — терпимо.
Warning
2×16 ГБ ≠ 32 ГБ. Модель на 24 ГБ не всегда делится на две по 12: слой attention или эксперт может не поместиться, а tensor parallel добавляет all-reduce. Если влезает в одну 32-гиговую — она быстрее и проще. Исключение — 2×3090 по NVLink: память объединяется.
11. Облако или покупка: считаем точку безубыточности
Аренда GPU в 2026 году дешевле, чем кажется, а локальное железо — дороже. Формула простая:
часы до безубыточности = цена железа / (аренда в час − электричество в час)
Пример для RTX 5090:
- Покупка: 800 тыс. ₽ (карта + БП + корпус).
- Электричество: ~7 ₽/ч (725 Вт × 8,90 ₽/кВт·ч).
- Аренда 5090: $0,69/ч ≈ 56 ₽/ч в Community Cloud (RunPod, 27.08.2026); Secure Cloud — $1,19/ч ≈ 97 ₽/ч.
- Разница: 49 ₽/ч (Community) или 90 ₽/ч (Secure). Безубыточность: 16 300 ч в Community или 8 900 ч в Secure — ~1,9 года 24/7 или ~1 год 24/7 соответственно; по 8 часов в день это 5,6 и 3 года.
| Вариант | Цена (только GPU/бокс) | Аренда | Часы до безубыточности | Вывод |
|---|---|---|---|---|
| RTX 5090 | 800 тыс. ₽ | 56 ₽/ч (Community) / 97 ₽/ч (Secure) | ~16 300 / ~8 900 | 24/7 — локально; 8 ч/день — облако |
| 2×RTX 3090 | 260 тыс. ₽ | 60 ₽/ч (2×4090, RunPod) | ~5 200 | 24/7 — локально; 8 ч/день — ~1,8 года |
| RTX PRO 6000 96 ГБ | 1,3 млн ₽ | 290 ₽/ч (Selectel) | ~4 700 | 24/7 — локально; иначе аренда |
| Mac Studio M5 Ultra 96 ГБ | 853 тыс. ₽ | 342 ₽/ч (H100, Immers) | ~2 600 | сравнение условное: разные архитектуры |
Россия: Selectel — 2×4090 210 ₽/ч, PRO 6000 290 ₽/ч; HOSTKEY — H100 207 ₽/ч; Immers — H100 342 ₽/ч (Selectel, HOSTKEY, Immers, 2026).
За рубежом: RunPod 5090 — $0,69 Community / $1,19 Secure, 4090 — $0,34, H100 — $1,99–2,89; PRO 6000 — $1,69–2,35 (RunPod, Spheron, 30.10.2026).
Посчитай сам. Вы работаете с 70B Q4 по 8 часов в день, 250 дней в году. Две карты 2×3090 стоят 260 тыс. ₽ (остальной ПК у вас уже есть), электричество — 10 ₽/ч, аренда 2×4090 на RunPod — около 60 ₽/ч (две карты по ~$0,34/ч). Что дешевле за 3 года?
Решение
часы: 8 × 250 × 3 = 6 000 ч
аренда: 6 000 × 60 = 360 000 ₽
локально: 260 000 + 6 000 × 10 = 320 000 ₽
Локально дешевле на ~40 тыс. ₽ за 3 года — но это без учёта амортизации, ремонта, шума и времени на настройку. Если часы упадут до 4 в день, аренда выиграет. Если 24/7 — локально выиграет в разы. Считайте свои часы, а не «кажется, что своё дешевле».
Облако: нет capex, доступ к H100/B200, масштаб, тишина. Минусы: данные наружу, egress, изменчивые цены. Гибрид: локальная 24–32 ГБ для разработки, аренда 96–192 ГБ для больших прогонов.
12. Бюджет → лучший вариант
Цены — российские, ноябрь 2026; они взяты из разделов выше, ссылки и дата проверки — там же (07.11.2026). «Лучший» — не самый быстрый, а лучший баланс памяти, скорости, гарантии и шума.
| Бюджет | Лучший вариант | Почему |
|---|---|---|
| до 50 тыс. ₽ | б/у RTX 3060 12 ГБ ↗; новых карт с 12+ ГБ в этом бюджете не нашёл | 12 ГБ лучше 8 для LLM; гарантии нет |
| 50–100 тыс. ₽ | RTX 5060 Ti 16 ГБ (80–92 тыс.) | 16 ГБ, гарантия, 180 Вт, CUDA |
| 100–200 тыс. ₽ | б/у RTX 3090 24 ГБ (115–140 тыс.) или RX 9070 XT 16 ГБ (65–110 тыс.) | 24 ГБ за деньги 16-гиговой новой; 9070 XT быстрее, но 16 ГБ |
| 200–400 тыс. ₽ | 2×RTX 3090 48 ГБ (230–280 тыс.) или Strix Halo 128 ГБ (193–387 тыс.) | 48 ГБ с NVLink против 128 ГБ без CUDA |
| 400–800 тыс. ₽ | Mac Studio M5 Max 64 ГБ (464 тыс.) или RTX 5090 32 ГБ (750–950 тыс., верхняя граница) | тишина и 64 ГБ против скорости и 32 ГБ |
| 1 млн ₽+ | RTX PRO 6000 96 ГБ (1,3–1,7 млн [оценка]) или Mac Studio M5 Ultra 256 ГБ (точную цену не нашёл; 96 ГБ — 853 тыс.) | один пул 96 ГБ с CUDA против 256 ГБ с 1,2 ТБ/с |
Tip
За 200–300 тыс. ₽ без б/у Strix Halo 128 ГБ — самый универсальный: x86, Windows, 140 Вт. Но 70B на нём — 3–4,5 ток/с; быстрее — 2×3090 (48 ГБ), зато без 120B MoE.
12.1 Цена за гигабайт — грубый, но полезный фильтр
| Устройство | Цена, ₽ | Память, ГБ | ₽/ГБ | Что не учтено |
|---|---|---|---|---|
| Strix Halo 128 ГБ | 300 000 | 128 | ~2 340 | скорость, софт, гарантия |
| Arc Pro B60 | 110 300 | 24 | ~4 600 | скорость, драйверы |
| RTX 3090 б/у | 130 000 | 24 | ~5 420 | гарантия, ремонт, шум |
| Mac Studio M5 Max 128 ГБ | 823 900 | 128 | ~6 440 | CPU, SSD, софт Apple |
| RTX PRO 6000 96 ГБ | 1 310 000 | 96 | ~13 650 | CUDA, ECC, гарантия |
| RTX 5090 32 ГБ | 800 000 | 32 | ~25 000 | скорость, CUDA, но цена |
Цена за гигабайт не говорит о скорости: 3090 и B60 стоят похоже за 24 ГБ, но 3090 читает память вдвое быстрее. И не говорит о софте: Strix Halo дешевле всех за гигабайт, но CUDA на нём нет. Это только первый фильтр, после которого всё равно надо считать декод и смотреть, что поддерживает ваш рантайм.
13. Задача → железо
| Задача | Минимум | Комфорт | Почему |
|---|---|---|---|
| Чат 7–14B | RTX 5060 Ti 16 | RTX 5070 / Mac mini M5 Pro 24 | 16 ГБ хватает на 14B Q4 + 32k; 12 ГБ — на 8–9B |
| Агент 30B MoE | RTX 3090 24 / B60 24 | RTX 5090 32 / R9700 32 | вся модель в VRAM; 24 ГБ — минимум, 32 ГБ — запас на KV |
| 70B dense | 2×3090 48 / RTX PRO 5000 48 | Mac Studio 96 / RTX PRO 6000 96 | 42 ГБ весов + KV; 48 ГБ — только 16k, 96 ГБ — комфорт |
| 100B+ MoE | Strix Halo 128 / DGX Spark 128 | RTX PRO 6000 96 / Mac Studio 128 | 72–110 ГБ весов (120B Q4); 235B MoE Q4 — 192 ГБ+ |
| Длинный контекст 64k+ | RTX 5090 32 | RTX PRO 6000 96 / Mac Studio 128 | KV растёт линейно; q8 KV и запас 2 ГБ |
| Несколько пользователей | RTX PRO 6000 96 + vLLM | 2×PRO 6000 / сервер | батчинг, PagedAttention, изоляция слотов |
| Тишина и мало ватт | Mac mini M5 Pro | Mac Studio / DGX Spark / Strix Halo | 140–150 Вт, 13–29 дБА |
| Бюджет и офлайн | б/у 3090 24 | 2×3090 48 | дешёвая память, CUDA, но шум и нет гарантии |
14. Дерево решений
flowchart TB
A["Задача и бюджет"] --> B{"Сколько памяти<br/>нужно сейчас?"}
B -->|"≤ 16 ГБ"| C["16 ГБ:<br/>5060 Ti / 5070"]
B -->|"24–32 ГБ"| D["24–32 ГБ:<br/>3090 б/у, 5090,<br/>R9700, B60"]
B -->|"48–96 ГБ"| E["48–96 ГБ:<br/>PRO 5000/6000,<br/>2×3090, Mac Studio"]
B -->|"128 ГБ+"| F["128 ГБ+:<br/>Mac Studio, DGX Spark,<br/>Strix Halo"]
C --> G{"Что важнее?"}
D --> G
E --> G
F --> G
G -->|"скорость"| H["NVIDIA + CUDA"]
G -->|"тишина и ватты"| I["Apple / DGX Spark"]
G -->|"цена за ГБ"| J["AMD / Intel / б/у"]
Сначала память — она решает, что запустится; потом приоритет. Если объём неизвестен, вернитесь к главе 13.
15. Красные флаги ноября 2026
- 8 ГБ и «две по 16». Для LLM нужен один пул 16+ ГБ; 8 ГБ — только 7–8B Q4, две 16 не заменяют 32.
- RTX 5090 за $6 900 / 950 тыс. ₽. Это цена дефицита, а не производительности; при нагрузке < 2 000 ч/год — аренда.
- DGX Spark 64 ГБ за $4 999. За +$1 951 — вдвое больше памяти; 64 ГБ — маркетинговый компромисс.
- «1 PFLOPS» / «3352 TOPS» и серверная DDR5. Пики FP4 не про декод; 64 ГБ RDIMM за ~$3 000 — не время собирать CPU-only с нуля.
- Серый импорт и б/у 3090. Разница 30–40 % часто означает «без возврата»; у 3090 проверяйте термопрокладки, память 100–110 °C и тест под нагрузкой.
Ключевые идеи
- Память решает, что запустится; ПСП — как быстро; софт — заработает ли.
- 16 ГБ в 2026 году — минимум для 14B Q4 с длинным контекстом, 24–32 ГБ — комфорт для 30B, 48–96 ГБ — для 70B, 128 ГБ+ — для 100B+ MoE.
- RTX 5090 — самая быстрая потребительская карта, но цена в 2,5–3,5 раза выше MSRP; 5090D v2 — не замена.
- Б/у 3090 24 ГБ — лучший бюджетный вход в 30B; 2×3090 по NVLink — 48 ГБ за разумные деньги.
- AMD R9700 даёт 32 ГБ и ECC, но prefill в 2,6–3,4 раза медленнее 5090; Intel B60/B70 — 24–32 ГБ за небольшие деньги, если готовы к SYCL.
- Apple и Strix Halo — это 128 ГБ и тишина, но 3–21 ток/с на 70B; DGX Spark — 128 ГБ с CUDA и ценой как у подержанной машины.
- Ноябрь 2026 — рынок продавца: покупайте под задачу, не «под будущее»; считайте электричество и точку безубыточности аренды.
Проверь себя
- Почему RTX 5090 с 1,8 ТБ/с не всегда быстрее Mac Studio M5 Ultra с 1,2 ТБ/с?
- Почему две карты по 16 ГБ не заменяют одну на 32 ГБ?
- Что такое объединённая память и почему 128 ГБ в Mac — не то же самое, что 128 ГБ VRAM?
- Когда CPU-only имеет смысл, а когда это потеря времени?
- Как посчитать, что дешевле — купить RTX 5090 за 800 тыс. ₽ или арендовать её по 56–97 ₽/ч?
Ответы
- Важны не только ПСП, но и объём одного пула, prefill и софт. На 70B Q8 или 120B MoE Mac выигрывает объёмом; на модели до 32 ГБ 5090 быстрее.
- Две карты — два пула; tensor parallel добавляет all-reduce, layer split — ожидание. Одна 32-гиговая проще, кроме 2×3090 по NVLink.
- Это общий пул CPU/GPU без копирования по PCIe, но с меньшей ПСП, резервом ОС и без CUDA. 128 ГБ Mac — 460–1200 ГБ/с, не 1,8 ТБ/с.
- Когда важны объём и цена за гигабайт, а не задержка: пакетная обработка, огромный контекст, сервер уже есть, данные нельзя выносить. Для чата 1–2 ток/с — потеря времени.
- Разделите цену железа на разницу «аренда минус электричество»: 800 000 / (56 − 7) ≈ 16 300 ч для Community Cloud и 800 000 / (97 − 7) ≈ 8 900 ч для Secure. По 8 часов в день это 5,6 и 3 года; если нагрузка меньше — аренда, если 24/7 — покупка. Та же формула работает для любой карты.
Источники главы
- NVIDIA GeForce RTX 5090 — Specifications — NVIDIA, 2026. nvidia.com. 32 ГБ GDDR7, 575 Вт, 1000 Вт БП, NVLink нет.
- NVIDIA RTX PRO 6000 Blackwell Workstation Edition — NVIDIA, 2026. nvidia.com. 96 ГБ, 1792 ГБ/с, 600 Вт, 4000 AI TOPS.
- Lenovo Press, RTX PRO 6000 Blackwell Max-Q — Lenovo, 2026. lenovopress.lenovo.com. Прямо указывает «NVLink support: No».
- NVIDIA RTX PRO 5000 Blackwell — NVIDIA, 2026. nvidia.com. 48/72 ГБ, 1344 ГБ/с, 300 Вт.
- NVIDIA DGX Spark — Specifications — NVIDIA, 2026. nvidia.com. 128 ГБ LPDDR5X, 273 ГБ/с, 140 Вт, 1 PFLOPS FP4, 29 дБА.
- AMD Radeon AI PRO R9700 — AMD, 2026. amd.com. 32 ГБ, 640 ГБ/с, 300 Вт, ECC, ROCm.
- Intel Arc Pro B-Series — Intel, 2026. intel.com. B50/B60/B65/B70: 16–32 ГБ, 224–608 ГБ/с, 70–230 Вт.
- Apple Mac Studio (M5 Max/M5 Ultra) — Tech Specs — Apple, 2026. support.apple.com. 36–512 ГБ, 460–1200 ГБ/с.
- Apple Mac mini (M6/M5 Pro) — Tech Specs — Apple, 2026. support.apple.com. 16–64 ГБ, 153–307 ГБ/с.
- AMD EPYC 9005 Series — AMD, 2026. amd.com. 12 каналов DDR5-6400, 614 ГБ/с на сокет.
- AMD Ryzen Threadripper 9000 — AMD, 2026. amd.com. TRX50 — 4 канала, WRX90 — 8 каналов, 80–128 линий PCIe 5.0.
- llama.cpp — Backend/build docs — ggml-org, 2026. GitHub. CUDA, HIP, SYCL, Metal, Vulkan, CPU.
- llama.cpp — SYCL backend — ggml-org, 2026. GitHub. Сборка и запуск на Intel GPU.
- MLX — Apple Machine Learning Research, 2026. GitHub. Фреймворк для Apple Silicon.
- ROCm — System requirements — AMD, 2026. docs.amd.com. Поддержка Radeon AI PRO и RDNA.
- vLLM — Installation — vLLM, 2026. docs.vllm.ai. CUDA, ROCm, XPU.
- Fusion Worldwide, «RDIMM Shortage 2026» — 2026. fusionww.com. Рост цен DRAM и RDIMM.
- Tom’s Hardware, «Nvidia doubles RTX PRO 6000 Blackwell’s MSRP to $16,000» — 2026. tomshardware.com. Динамика цен professional-карт.
- RunPod — RTX 5090 и H100 — 2026. runpod.io, H100. Цены аренды.
- Selectel — GPU-серверы — 2026. selectel.ru. Российские цены аренды.
- HOSTKEY — аренда H100/A100 — 31.08.2026. hostkey.ru. 207 и 153 ₽/ч.
- AI Infra in Depth — hardware dataset — Bojie Li, 2026. GitHub, JSON. Apache-2.0. Сверка ПСП и объёмов 151 устройства; использован для Apple M5/M6, RTX PRO 6000, A6000 и RTX 6000 Ada.