10. Сэмплинг, температура и бюджет рассуждений
Зачем эта глава. Модель выдаёт вероятности, а не готовый ответ. То, какой токен будет выбран, определяет отдельный алгоритм. Неправильная температура превращает точную модель в болтливую или, наоборот, в зацикленную. А «рассуждающие» модели добавляют скрытые токены, которые стоят времени.
За 30 секунд
- Модель выдаёт распределение вероятностей; какой токен выбрать, решает сэмплер.
- Температура делает распределение острее (
T < 1) или площе (T > 1);T = 0— всегда самый вероятный токен.- Top-k, top-p и min-p отрезают маловероятный хвост; штрафы за повторы полезны в прозе и вредны в JSON.
- Рассуждение («thinking») — это обычные токены декода: они стоят секунд и места в контексте, поэтому бюджет подбирают под задачу.
10.1 От логитов к вероятностям
Последний слой модели выдаёт логиты — по числу на каждый токен словаря. Softmax превращает их в вероятности:
p_i = exp(z_i / T) / сумма_j exp(z_j / T)
где T — температура.
T → 0— распределение концентрируется на самом вероятном токене (жадная генерация);T = 1— исходное распределение модели;T > 1— распределение «размазывается», растёт разнообразие и риск бессмыслицы.
Пример. Логиты [2, 1, 0]:
| T | Вероятности |
|---|---|
| 0,5 | 0,867 / 0,117 / 0,016 |
| 1,0 | 0,665 / 0,245 / 0,090 |
| 2,0 | 0,506 / 0,307 / 0,186 |
При T = 0 деление на ноль не происходит: реализация просто выбирает argmax.
10.2 Обрезка хвоста
Даже при разумной температуре в хвосте распределения остаются тысячи маловероятных токенов. Их выбор почти всегда портит текст. Поэтому хвост обрезают.
Top-k: оставить k самых вероятных токенов, остальным вероятность 0. Просто, но k не адаптируется к форме распределения: когда модель уверена, k = 50 лишний; когда не уверена — может быть мало.
Top-p (nucleus sampling): оставить минимальный набор токенов, суммарная вероятность которых ≥ p (например, 0,9). Набор адаптируется: при уверенном распределении он маленький, при неуверенном — большой.
Min-p: оставить токены с вероятностью не ниже min_p × p_max. Если самый вероятный токен имеет вероятность 0,6, а min_p = 0,1, порог — 0,06. Тоже адаптивный способ, популярный в локальных рантаймах.
Типичные комбинации:
- точные задачи:
T = 0, обрезка не нужна; - технический текст:
T = 0,2–0,5,top_p = 0,9; - творческий текст:
T = 0,7–1,0,top_p = 0,95; - код и JSON:
T = 0–0,2,top_p = 0,9–0,95.
Это ориентиры, а не рецепты: модель и задача меняют оптимум.
Обычно эти шаги выстраиваются в цепочку:
flowchart TB
L["Логиты<br/>по всему словарю"] --> P["Штрафы<br/>за повторы"]
P --> F["Фильтры хвоста:<br/>top-k → top-p → min-p"]
F --> T["Температура"]
T --> S["Softmax и случайный<br/>выбор с учётом seed"]
S --> TOK["Токен"]
L -.->|"T = 0: сразу argmax"| TOK
Note
Порядок шагов зависит от рантайма и настраивается: в llama.cpp цепочка сэмплеров задаётся флагом
--samplers, и температура в ней по умолчанию стоит после фильтров, а в других библиотеках её часто применяют первой. При одинаковых числовых параметрах это может давать немного разное поведение — ещё одна причина не переносить настройки между рантаймами вслепую.
Посчитай сам. После температуры у пяти токенов вероятности 0,50 / 0,20 / 0,15 / 0,10 / 0,05. Какие токены останутся при min_p = 0,25 и какие — при top_p = 0,9? Каковы вероятности после перенормировки в случае min-p?
Решение
min-p: порог = 0,25 × 0,50 = 0,125 → остаются 0,50 / 0,20 / 0,15
сумма 0,85 → после перенормировки 0,588 / 0,235 / 0,176
top-p: накопленная сумма 0,50 → 0,70 → 0,85 → 0,95 ≥ 0,9
→ остаются четыре токена: 0,50 / 0,20 / 0,15 / 0,10
Min-p здесь строже: он отсекает всё, что заметно слабее лидера. Top-p оставляет хвост, пока не набрана нужная масса.
10.3 Штрафы за повторения
Чтобы модель не зацикливалась, используют:
- repetition penalty — понижает вероятность уже встречавшихся токенов;
- frequency penalty — сильнее понижает часто встречавшиеся;
- presence penalty — понижает сам факт появления токена.
Осторожно: слишком большой штраф ломает технические тексты, где повторяются обозначения, единицы и имена полей. Для JSON и кода штрафы лучше не включать или держать минимальными.
10.4 Детерминизм
T = 0 означает «всегда выбирать самый вероятный токен», но не гарантирует побитово одинаковый ответ:
- батчинг и порядок вычислений с плавающей точкой могут менять логиты в последних битах;
- разные версии рантайма и разные бэкенды дают небольшие расхождения;
- кэш и спекулятивное декодирование могут влиять на траекторию.
Для воспроизводимости фиксируйте seed, версию рантайма и конфиг, а результаты сравнивайте статистически, а не по одному запросу.
10.5 Рассуждающие модели
Новые модели умеют сначала сгенерировать скрытое рассуждение (thinking), а потом ответ. С точки зрения инференса это обычные токены: они проходят через декод, занимают время и контекст.
Плюсы:
- лучше справляются с многошаговыми задачами, математикой, планированием;
- позволяют модели «перепроверить» себя;
- дают выигрыш на сложных задачах без изменения весов.
Минусы:
- каждое рассуждение — это токены, а значит, секунды;
- на простых задачах рассуждение избыточно;
- длинное рассуждение может не поместиться в контекст;
- для строгого JSON и вызова инструментов скрытый текст может мешать парсингу, если рантайм не отделяет его.
10.6 Бюджет рассуждений
Бюджет рассуждений (reasoning budget) — ограничение на число токенов, которые модель тратит на скрытое рассуждение. Если бюджет исчерпан, модель должна перейти к ответу.
Практика:
- для извлечения данных, классификации, форматирования — бюджет 0;
- для анализа и планирования — небольшой бюджет (несколько сотен токенов);
- для сложных задач — больше, но с контролем времени.
Некоторые рантаймы поддерживают флаг вида --reasoning-budget; проверьте, есть ли он в вашей сборке и как ведёт себя при исчерпании. В API рассуждение часто приходит отдельным полем (reasoning_content), а ответ — в content.
10.7 Сколько стоит рассуждение
Пример: модель генерирует 1500 токенов рассуждения и 200 токенов ответа при скорости 40 ток/с.
рассуждение: 1500 / 40 = 37,5 с
ответ: 200 / 40 = 5 с
итого: ~42,5 с
Без рассуждения — 5 секунд. Для сложной задачи 37 секунд могут быть оправданы; для «вытащить номер ГОСТа из абзаца» — нет.
Бюджет — это не только время, но и качество: слишком маленький бюджет обрывает рассуждение на середине, и ответ становится хуже, чем без него.
10.8 Рассуждение и структурированный вывод
Если модель должна вернуть JSON, а она сначала «думает», есть два подхода:
- Отделить канал рассуждения от ответа на уровне шаблона чата и парсера. Многие модели обучены класть рассуждение в специальные токены; сервер умеет их вырезать.
- Отключить рассуждение для задач, где оно не нужно, и включить грамматику/JSON-схему для ответа.
Смешивать нельзя: если рассуждение попадает в тот же поток, что и JSON, парсер сломается.
10.9 Практические рекомендации
| Задача | Температура | Обрезка | Рассуждение |
|---|---|---|---|
| Извлечение полей, JSON | 0 | top_p 0,9 | выключить |
| Вызов инструментов | 0 | top_p 0,9 | выключить или короткий бюджет |
| Проверка документа | 0–0,2 | top_p 0,9 | по задаче |
| Технический текст | 0,2–0,5 | top_p 0,9 | по задаче |
| Чат, идеи | 0,7–1,0 | top_p 0,95 | средний бюджет |
| Код | 0–0,2 | top_p 0,95 | короткий бюджет |
Правило: сначала детерминизм, потом творчество. Если задача допускает один правильный ответ, температура 0 — хороший старт.
Tip
Начните с
T = 0и выключенного рассуждения, прогоните свой набор задач (глава 12), а потом включайте рассуждение или поднимайте температуру только там, где это измеримо улучшает результат.
10.10 Чего не делать
- Не ставить
T = 0и одновременноtop_pс маленьким значением «для разнообразия» — это противоречивые сигналы. - Не включать repetition penalty для JSON: имена полей повторяются, и модель начнёт их избегать.
- Не сравнивать модели при разных температурах.
- Не считать, что «temperature 0» даёт побитово одинаковый ответ на разных машинах.
- Не держать большой бюджет рассуждений «на всякий случай»: это прямое время.
Ключевые идеи
- Температура управляет резкостью распределения; 0 — жадный выбор.
- Top-k, top-p и min-p обрезают маловероятный хвост; top-p адаптивен.
- Штрафы за повторения полезны в прозе и вредны в JSON/коде.
- Рассуждение — это обычные токены декода, которые стоят времени и контекста.
- Бюджет рассуждений надо подбирать под задачу, а не максимизировать.
Проверь себя
- Что произойдёт с распределением при
T = 0,5и приT = 2? - Чем top-p отличается от top-k?
- Почему repetition penalty может испортить JSON?
- Модель тратит 800 токенов на рассуждение при 50 ток/с. Сколько это секунд?
- Почему
temperature = 0не гарантирует идентичный ответ на разных машинах?
Ответы
- При
T = 0,5распределение становится острее, вероятный токен получает больше массы. ПриT = 2— площе, масса распределяется по большему числу токенов. - Top-k оставляет фиксированное число токенов. Top-p оставляет минимальный набор, суммарная вероятность которого достигает порога, поэтому размер набора зависит от уверенности модели.
- В JSON повторяются имена полей и служебные символы. Штраф понижает их вероятность, и модель начинает переименовывать поля или ломать структуру.
800 / 50 = 16секунд.- Порядок операций с плавающей точкой, батчинг, разные ядра и версии рантайма могут давать чуть разные логиты. На argmax это обычно не влияет, но вблизи границы — может.
Источники главы
- Holtzman et al., «The Curious Case of Neural Text Degeneration» (2019) — arXiv:1904.09751. Nucleus sampling и проблема жадного/лучевого поиска.
- Fan, Lewis, Dauphin, «Hierarchical Neural Story Generation» (2018) — arXiv:1805.04833. Top-k sampling.
- Nguyen et al., «Turning Up the Heat: Min-p Sampling» (2024) — arXiv:2407.01082. Min-p как адаптивная альтернатива.
- Wei et al., «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models» (2022) — arXiv:2201.11903. Почему промежуточные рассуждения помогают.
- Wang et al., «Self-Consistency Improves Chain of Thought Reasoning» (2022) — arXiv:2203.11171. Несколько траекторий и голосование.
- Muennighoff et al., «s1: Simple test-time scaling» (2025) — arXiv:2501.19393. Бюджетное управление рассуждением.
- DeepSeek-AI, «DeepSeek-R1» (2025) — arXiv:2501.12948. Рассуждающая модель и обучение через RL.
- llama.cpp,
tools/server/README.md— GitHub. Параметры сэмплирования и шаблоны.