Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

10. Сэмплинг, температура и бюджет рассуждений

Зачем эта глава. Модель выдаёт вероятности, а не готовый ответ. То, какой токен будет выбран, определяет отдельный алгоритм. Неправильная температура превращает точную модель в болтливую или, наоборот, в зацикленную. А «рассуждающие» модели добавляют скрытые токены, которые стоят времени.

За 30 секунд

  • Модель выдаёт распределение вероятностей; какой токен выбрать, решает сэмплер.
  • Температура делает распределение острее (T < 1) или площе (T > 1); T = 0 — всегда самый вероятный токен.
  • Top-k, top-p и min-p отрезают маловероятный хвост; штрафы за повторы полезны в прозе и вредны в JSON.
  • Рассуждение («thinking») — это обычные токены декода: они стоят секунд и места в контексте, поэтому бюджет подбирают под задачу.

10.1 От логитов к вероятностям

Последний слой модели выдаёт логиты — по числу на каждый токен словаря. Softmax превращает их в вероятности:

p_i = exp(z_i / T) / сумма_j exp(z_j / T)

где T — температура.

  • T → 0 — распределение концентрируется на самом вероятном токене (жадная генерация);
  • T = 1 — исходное распределение модели;
  • T > 1 — распределение «размазывается», растёт разнообразие и риск бессмыслицы.

Пример. Логиты [2, 1, 0]:

TВероятности
0,50,867 / 0,117 / 0,016
1,00,665 / 0,245 / 0,090
2,00,506 / 0,307 / 0,186

При T = 0 деление на ноль не происходит: реализация просто выбирает argmax.

10.2 Обрезка хвоста

Даже при разумной температуре в хвосте распределения остаются тысячи маловероятных токенов. Их выбор почти всегда портит текст. Поэтому хвост обрезают.

Top-k: оставить k самых вероятных токенов, остальным вероятность 0. Просто, но k не адаптируется к форме распределения: когда модель уверена, k = 50 лишний; когда не уверена — может быть мало.

Top-p (nucleus sampling): оставить минимальный набор токенов, суммарная вероятность которых ≥ p (например, 0,9). Набор адаптируется: при уверенном распределении он маленький, при неуверенном — большой.

Min-p: оставить токены с вероятностью не ниже min_p × p_max. Если самый вероятный токен имеет вероятность 0,6, а min_p = 0,1, порог — 0,06. Тоже адаптивный способ, популярный в локальных рантаймах.

Типичные комбинации:

  • точные задачи: T = 0, обрезка не нужна;
  • технический текст: T = 0,2–0,5, top_p = 0,9;
  • творческий текст: T = 0,7–1,0, top_p = 0,95;
  • код и JSON: T = 0–0,2, top_p = 0,9–0,95.

Это ориентиры, а не рецепты: модель и задача меняют оптимум.

Обычно эти шаги выстраиваются в цепочку:

flowchart TB
    L["Логиты<br/>по всему словарю"] --> P["Штрафы<br/>за повторы"]
    P --> F["Фильтры хвоста:<br/>top-k → top-p → min-p"]
    F --> T["Температура"]
    T --> S["Softmax и случайный<br/>выбор с учётом seed"]
    S --> TOK["Токен"]
    L -.->|"T = 0: сразу argmax"| TOK

Note

Порядок шагов зависит от рантайма и настраивается: в llama.cpp цепочка сэмплеров задаётся флагом --samplers, и температура в ней по умолчанию стоит после фильтров, а в других библиотеках её часто применяют первой. При одинаковых числовых параметрах это может давать немного разное поведение — ещё одна причина не переносить настройки между рантаймами вслепую.

Посчитай сам. После температуры у пяти токенов вероятности 0,50 / 0,20 / 0,15 / 0,10 / 0,05. Какие токены останутся при min_p = 0,25 и какие — при top_p = 0,9? Каковы вероятности после перенормировки в случае min-p?

Решение
min-p:  порог = 0,25 × 0,50 = 0,125 → остаются 0,50 / 0,20 / 0,15
        сумма 0,85 → после перенормировки 0,588 / 0,235 / 0,176
top-p:  накопленная сумма 0,50 → 0,70 → 0,85 → 0,95 ≥ 0,9
        → остаются четыре токена: 0,50 / 0,20 / 0,15 / 0,10

Min-p здесь строже: он отсекает всё, что заметно слабее лидера. Top-p оставляет хвост, пока не набрана нужная масса.

10.3 Штрафы за повторения

Чтобы модель не зацикливалась, используют:

  • repetition penalty — понижает вероятность уже встречавшихся токенов;
  • frequency penalty — сильнее понижает часто встречавшиеся;
  • presence penalty — понижает сам факт появления токена.

Осторожно: слишком большой штраф ломает технические тексты, где повторяются обозначения, единицы и имена полей. Для JSON и кода штрафы лучше не включать или держать минимальными.

10.4 Детерминизм

T = 0 означает «всегда выбирать самый вероятный токен», но не гарантирует побитово одинаковый ответ:

  • батчинг и порядок вычислений с плавающей точкой могут менять логиты в последних битах;
  • разные версии рантайма и разные бэкенды дают небольшие расхождения;
  • кэш и спекулятивное декодирование могут влиять на траекторию.

Для воспроизводимости фиксируйте seed, версию рантайма и конфиг, а результаты сравнивайте статистически, а не по одному запросу.

10.5 Рассуждающие модели

Новые модели умеют сначала сгенерировать скрытое рассуждение (thinking), а потом ответ. С точки зрения инференса это обычные токены: они проходят через декод, занимают время и контекст.

Плюсы:

  • лучше справляются с многошаговыми задачами, математикой, планированием;
  • позволяют модели «перепроверить» себя;
  • дают выигрыш на сложных задачах без изменения весов.

Минусы:

  • каждое рассуждение — это токены, а значит, секунды;
  • на простых задачах рассуждение избыточно;
  • длинное рассуждение может не поместиться в контекст;
  • для строгого JSON и вызова инструментов скрытый текст может мешать парсингу, если рантайм не отделяет его.

10.6 Бюджет рассуждений

Бюджет рассуждений (reasoning budget) — ограничение на число токенов, которые модель тратит на скрытое рассуждение. Если бюджет исчерпан, модель должна перейти к ответу.

Практика:

  • для извлечения данных, классификации, форматирования — бюджет 0;
  • для анализа и планирования — небольшой бюджет (несколько сотен токенов);
  • для сложных задач — больше, но с контролем времени.

Некоторые рантаймы поддерживают флаг вида --reasoning-budget; проверьте, есть ли он в вашей сборке и как ведёт себя при исчерпании. В API рассуждение часто приходит отдельным полем (reasoning_content), а ответ — в content.

10.7 Сколько стоит рассуждение

Пример: модель генерирует 1500 токенов рассуждения и 200 токенов ответа при скорости 40 ток/с.

рассуждение: 1500 / 40 = 37,5 с
ответ:       200 / 40 = 5 с
итого:       ~42,5 с

Без рассуждения — 5 секунд. Для сложной задачи 37 секунд могут быть оправданы; для «вытащить номер ГОСТа из абзаца» — нет.

Бюджет — это не только время, но и качество: слишком маленький бюджет обрывает рассуждение на середине, и ответ становится хуже, чем без него.

10.8 Рассуждение и структурированный вывод

Если модель должна вернуть JSON, а она сначала «думает», есть два подхода:

  1. Отделить канал рассуждения от ответа на уровне шаблона чата и парсера. Многие модели обучены класть рассуждение в специальные токены; сервер умеет их вырезать.
  2. Отключить рассуждение для задач, где оно не нужно, и включить грамматику/JSON-схему для ответа.

Смешивать нельзя: если рассуждение попадает в тот же поток, что и JSON, парсер сломается.

10.9 Практические рекомендации

ЗадачаТемператураОбрезкаРассуждение
Извлечение полей, JSON0top_p 0,9выключить
Вызов инструментов0top_p 0,9выключить или короткий бюджет
Проверка документа0–0,2top_p 0,9по задаче
Технический текст0,2–0,5top_p 0,9по задаче
Чат, идеи0,7–1,0top_p 0,95средний бюджет
Код0–0,2top_p 0,95короткий бюджет

Правило: сначала детерминизм, потом творчество. Если задача допускает один правильный ответ, температура 0 — хороший старт.

Tip

Начните с T = 0 и выключенного рассуждения, прогоните свой набор задач (глава 12), а потом включайте рассуждение или поднимайте температуру только там, где это измеримо улучшает результат.

10.10 Чего не делать

  • Не ставить T = 0 и одновременно top_p с маленьким значением «для разнообразия» — это противоречивые сигналы.
  • Не включать repetition penalty для JSON: имена полей повторяются, и модель начнёт их избегать.
  • Не сравнивать модели при разных температурах.
  • Не считать, что «temperature 0» даёт побитово одинаковый ответ на разных машинах.
  • Не держать большой бюджет рассуждений «на всякий случай»: это прямое время.

Ключевые идеи

  • Температура управляет резкостью распределения; 0 — жадный выбор.
  • Top-k, top-p и min-p обрезают маловероятный хвост; top-p адаптивен.
  • Штрафы за повторения полезны в прозе и вредны в JSON/коде.
  • Рассуждение — это обычные токены декода, которые стоят времени и контекста.
  • Бюджет рассуждений надо подбирать под задачу, а не максимизировать.

Проверь себя

  1. Что произойдёт с распределением при T = 0,5 и при T = 2?
  2. Чем top-p отличается от top-k?
  3. Почему repetition penalty может испортить JSON?
  4. Модель тратит 800 токенов на рассуждение при 50 ток/с. Сколько это секунд?
  5. Почему temperature = 0 не гарантирует идентичный ответ на разных машинах?

Ответы

  1. При T = 0,5 распределение становится острее, вероятный токен получает больше массы. При T = 2 — площе, масса распределяется по большему числу токенов.
  2. Top-k оставляет фиксированное число токенов. Top-p оставляет минимальный набор, суммарная вероятность которого достигает порога, поэтому размер набора зависит от уверенности модели.
  3. В JSON повторяются имена полей и служебные символы. Штраф понижает их вероятность, и модель начинает переименовывать поля или ломать структуру.
  4. 800 / 50 = 16 секунд.
  5. Порядок операций с плавающей точкой, батчинг, разные ядра и версии рантайма могут давать чуть разные логиты. На argmax это обычно не влияет, но вблизи границы — может.

Источники главы

  • Holtzman et al., «The Curious Case of Neural Text Degeneration» (2019) — arXiv:1904.09751. Nucleus sampling и проблема жадного/лучевого поиска.
  • Fan, Lewis, Dauphin, «Hierarchical Neural Story Generation» (2018) — arXiv:1805.04833. Top-k sampling.
  • Nguyen et al., «Turning Up the Heat: Min-p Sampling» (2024) — arXiv:2407.01082. Min-p как адаптивная альтернатива.
  • Wei et al., «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models» (2022) — arXiv:2201.11903. Почему промежуточные рассуждения помогают.
  • Wang et al., «Self-Consistency Improves Chain of Thought Reasoning» (2022) — arXiv:2203.11171. Несколько траекторий и голосование.
  • Muennighoff et al., «s1: Simple test-time scaling» (2025) — arXiv:2501.19393. Бюджетное управление рассуждением.
  • DeepSeek-AI, «DeepSeek-R1» (2025) — arXiv:2501.12948. Рассуждающая модель и обучение через RL.
  • llama.cpp, tools/server/README.md — GitHub. Параметры сэмплирования и шаблоны.