Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

14. Речь и OCR локально

Зачем эта глава. Инференс — это не только текст. Голосовые заметки и сканы документов часто нужны там же, где LLM, и их тоже можно обрабатывать локально. Здесь — коротко о том, как устроены пайплайны и что важно при выборе.

За 30 секунд

  • Речь и сканы тоже обрабатываются локально — отдельными, гораздо более лёгкими моделями, чем LLM.
  • Для речи: VAD + ASR (Whisper — универсально, GigaAM — сильнее на русском); метрики — WER/CER и RTF.
  • Для документов: сначала проверьте текстовый слой PDF, и только если его нет — OCR (Tesseract для простого, PP-OCR/RapidOCR для сложной вёрстки).
  • На одной машине разумный дефолт — ASR и OCR на CPU, LLM на GPU.

14.1 Зачем локально

  • Приватность. Аудио и сканы не уходят в облако.
  • Офлайн. Работает без сети.
  • Предсказуемая стоимость. Нет оплаты за минуты и страницы.
  • Контроль. Можно выбрать модель под язык и домен.

Цена — качество и время на настройку. Локальные модели догоняют облачные, но не во всём.

14.2 Как устроено распознавание речи

Типичный пайплайн:

аудио → декодирование в WAV 16 кГц моно → VAD → модель ASR → пунктуация/нормализация → текст
  • Декодирование. Форматы вроде ogg/opus, mp3, m4a нужно привести к PCM. Это делает ffmpeg или встроенный декодер.
  • VAD (voice activity detection) — определение речи и пауз. Помогает резать длинные записи и не гонять тишину.
  • ASR (automatic speech recognition) — модель, которая превращает аудио в текст.
  • Постобработка — пунктуация, числа, нормализация, разбиение на абзацы.

Для длинных записей аудио режут на окна (например, 30 секунд) с перекрытием, иначе модель теряет контекст или упирается в память.

14.3 Whisper

Whisper (OpenAI, 2022) — encoder-decoder трансформер, обученный на большом многоязычном корпусе. Работает с окнами по 30 секунд, поддерживает определение языка и перевод на английский.

Размеры и вес:

Модельggml f16 (whisper.cpp)q5_1 (примерно)Замечание
tiny~75 МБ~31 МБслишком грубо для терминов
base~142 МБ~57 МБминимум для связной речи
small~466 МБ~182 МБлучше термины, но медленнее
medium~1,5 ГБ~0,54 ГБхороший баланс
large-v3~3,1 ГБ~1,1 ГБлучшее качество, больше памяти

Это размеры f16-моделей в формате whisper.cpp. Исходные .pt-чекпоинты OpenAI и другие конвертации могут занимать больше; ориентируйтесь на файл, который реально скачали.

whisper.cpp — C/C++ порт с поддержкой CPU, CUDA, Metal и квантов. Позволяет запускать Whisper без Python и GPU.

Особенности:

  • на тишине и музыке может «галлюцинировать» текст;
  • чувствителен к шуму и акценту;
  • для русского технического текста качество зависит от размера модели;
  • промпт с терминами может помочь, но иногда усиливает галлюцинации.

Warning

Классическая ловушка Whisper — повторяющаяся фраза или текст, похожий на подпись к субтитрам, на месте тишины или музыки. Модель обучалась на слабо размеченных данных из интернета (Radford et al.) и дорисовывает правдоподобный текст там, где речи нет. Лечится VAD перед ASR: на вход модели должны попадать только участки с речью.

14.4 GigaAM и другие русские модели

Для русского языка имеет смысл смотреть специализированные модели. GigaAM (SberDevices) — семейство акустических моделей, обученных self-supervised преимущественно на русской речи; версия v3 показывает лучшее качество на русских бенчмарках, чем Whisper-large-v3, по данным авторов. «Русскость» здесь следует не из названия статьи, а из обучающих данных и приведённых авторами замеров — проверяйте на своих записях.

Варианты:

  • CTC — быстрее, проще;
  • RNNT — обычно точнее;
  • e2e — с пунктуацией и нормализацией на выходе.

Модели небольшие (сотни мегабайт), хорошо работают на CPU. Лицензия MIT у кода и весов — важный плюс для локального использования.

Другие варианты: Vosk (лёгкий, офлайн), NeMo-модели, sherpa-onnx. Выбор зависит от языка, домена и готовности возиться со сборкой.

14.5 Метрики речи

  • WER (word error rate) — доля ошибок на уровне слов: замены, вставки, пропуски.
  • CER (character error rate) — на уровне символов; полезна для языков с богатой морфологией.
  • RTF (real-time factor) — отношение времени обработки к длительности аудио. RTF 0,5 означает, что 70 секунд аудио обрабатываются за 35 секунд.

WER сильно зависит от домена: на чистой студийной речи и на телефонном канале это разные числа. Сравнивайте на своих записях.

Посчитай сам. За неделю накопилось 6 часов записей совещаний. ASR на CPU работает с RTF 0,3. Сколько займёт расшифровка и уложится ли она в ночь с 23:00 до 7:00?

Решение
6 ч × 0,3 = 1,8 ч ≈ 1 ч 48 мин

Укладывается с большим запасом: в восьмичасовое окно поместилось бы 8 / 0,3 ≈ 26 часов записей. Если RTF окажется 1,0 (медленная модель, слабый CPU), 6 часов аудио займут 6 часов — всё ещё влезает, но без запаса на OCR и LLM.

14.6 OCR: текст с картинок и сканов

OCR (optical character recognition) — распознавание текста на изображениях. Типичный пайплайн:

изображение/PDF → предобработка → детекция текстовых блоков → распознавание → структура
  • Предобработка: поворот, выравнивание, бинаризация, масштаб (обычно 300 DPI).
  • Детекция: найти области с текстом (строки, абзацы, таблицы).
  • Распознавание: превратить область в строку.
  • Структура: порядок чтения, колонки, таблицы, заголовки.

Tesseract

Классический открытый OCR (Apache 2.0), LSTM-движок, много языков, включая русский. Плюсы: лёгкий, быстрый на CPU, предсказуемый. Минусы: хуже на сложной вёрстке, рукописном тексте и низком качестве сканов.

PP-OCR / RapidOCR

PP-OCR (PaddleOCR) — детектор + распознаватель, обученные на больших данных; хорошо работают на разных языках и вёрстке. RapidOCR — ONNX-порт, который проще запускать без тяжёлых зависимостей.

Плюсы: лучше на сложных страницах, таблицах, многоколоночном тексте. Минусы: тяжелее, медленнее на CPU, больше зависимостей.

Гибридный подход

  1. Если в PDF есть текстовый слой — извлечь его, OCR не нужен.
  2. Если слой битый или это скан — рендерить страницы в изображения и запускать OCR.
  3. Для таблиц и формул — отдельные инструменты или ручная проверка.

Tip

Проверить текстовый слой можно за секунду: выделите текст в PDF-просмотрщике или извлеките его любой утилитой вроде pdftotext. Если получается осмысленный текст — OCR не нужен. Если пусто или «кракозябры» — это скан или битый слой.

14.7 Пример расчёта

100 страниц сканов.

  • Tesseract: ~2–4 с на страницу на 4 ядрах → 3–7 минут.
  • PP-OCR/RapidOCR: ~15–25 с на страницу на CPU → 25–42 минуты.
  • На GPU: быстрее, но конкурирует с LLM за VRAM.

Если LLM уже занимает 13–14 ГБ из 16, OCR на GPU может не поместиться. Тогда OCR на CPU — разумный дефолт, а GPU — для разовых задач.

14.8 Качество OCR и типичные ошибки

  • Числа и единицы: «1,5» может стать «1.5» или «15»; «мм» — «мн».
  • Похожие символы: О/0, l/1, З/3.
  • Дефисы и переносы: слова разрываются на строке.
  • Повороты и перспектива: страница снята под углом.
  • Печати и подписи: могут перекрывать текст.
  • Таблицы: порядок чтения ломается.

Поэтому OCR почти всегда требует постобработки и проверки, особенно если дальше эти данные идут в LLM.

14.9 VLM: когда нужен не OCR, а понимание картинки

VLM (vision-language model) — модель, которая принимает изображение и текст. В локальном варианте это обычно языковая модель плюс vision-энкодер и проектор; в GGUF они лежат отдельным файлом mmproj.

VLM полезен, когда нужно не просто извлечь текст, а понять вёрстку, найти подпись к рисунку или ответить на вопрос по схеме. Но:

  • изображение превращается в токены и занимает контекст;
  • vision-энкодер требует дополнительной памяти;
  • мелкий текст и таблицы VLM часто читает хуже специализированного OCR.

Практичный гибрид: OCR извлекает текст и координаты, VLM отвечает на вопросы по странице, LLM сводит результат.

14.10 Совмещение с LLM

Типичный локальный пайплайн:

flowchart LR
    subgraph CPU ["CPU и ОЗУ"]
        A["Аудио"] --> V["VAD"] --> ASR["ASR:<br/>GigaAM / whisper.cpp"]
        P["PDF / скан"] --> TL{"Есть<br/>текстовый слой?"}
        TL -->|"нет"| OCR["OCR:<br/>Tesseract / RapidOCR"]
    end
    subgraph GPU ["GPU"]
        LLM["LLM"]
    end
    ASR -->|"транскрипт"| ST[("Промежуточные<br/>результаты на диске")]
    OCR -->|"текст"| ST
    TL -->|"да: извлечь текст"| ST
    ST --> LLM

Что важно:

  • Не запускайте тяжёлые модели одновременно на одной GPU, если не считали память.
  • Очередь задач помогает не конкурировать за ресурсы.
  • Разделяйте CPU и GPU: ASR/OCR на CPU, LLM на GPU — часто лучший баланс.
  • Храните промежуточные результаты (транскрипт, OCR-текст), чтобы не пересчитывать.

14.11 Что выбрать

ЗадачаНачальный выбор
Русская речь, CPUGigaAM v3 (CTC/RNNT/e2e)
Многоязычная речь, CPUwhisper.cpp base/small
Многоязычная речь, GPUwhisper.cpp medium/large или faster-whisper
Простые сканы, CPUTesseract с языковым пакетом
Сложная вёрстка, CPURapidOCR / PP-OCR
PDF с текстовым слоемизвлечение текста без OCR

Это отправные точки, а не догмы: проверяйте на своих данных.

Ключевые идеи

  • Речь и OCR — отдельные пайплайны, но с теми же принципами: модель, препроцессинг, постобработка, метрики.
  • Whisper универсален, GigaAM силён на русском; размер модели — компромисс качества и скорости.
  • WER/CER и RTF — базовые метрики; сравнивать надо на своём домене.
  • OCR для PDF начинается с проверки текстового слоя.
  • CPU для ASR/OCR и GPU для LLM — часто лучший баланс на одной машине.

Проверь себя

  1. Зачем в пайплайне ASR нужен VAD?
  2. Что означает RTF 0,5?
  3. Почему WER на телефонной записи выше, чем на студийной?
  4. Когда OCR не нужен?
  5. Почему запуск OCR на GPU может быть плохой идеей, если там уже работает LLM?

Ответы

  1. VAD отделяет речь от тишины и шума, позволяет резать аудио на куски и не тратить время на обработку пустых участков. Он также снижает галлюцинации на тишине.
  2. Время обработки равно половине длительности аудио: 70 секунд записи обрабатываются примерно за 35 секунд.
  3. Телефонный канал добавляет шум, сжатие и ограничение полосы частот; модель хуже различает звуки и термины. Домен и качество записи сильно влияют на WER.
  4. Когда в PDF есть корректный текстовый слой: извлечение текста дешевле и точнее, чем OCR.
  5. OCR и LLM будут конкурировать за видеопамять. Если LLM занимает почти всю VRAM, OCR может вытеснить её в системную память и резко замедлить обе задачи.

Источники главы

  • Radford et al., «Robust Speech Recognition via Large-Scale Weak Supervision» (2022) — arXiv:2212.04356. Оригинальная статья Whisper.
  • whisper.cpp — GitHub. C/C++ порт с квантами и бэкендами.
  • Kutsakov et al., «GigaAM: Efficient Self-Supervised Learner for Speech Recognition» (2025) — arXiv:2506.01192. Русская ASR-модель; сравнение с Whisper-large-v3.
  • Silero VAD — GitHub. Лёгкий детектор речи.
  • Tesseract documentation — tesseract-ocr.github.io. Установка, языковые пакеты, ограничения.
  • Du et al., «PP-OCR: A Practical Ultra Lightweight OCR System» (2020) — arXiv:2009.09941. Архитектура PP-OCR.
  • RapidOCR — GitHub. ONNX-порт для практического запуска.
  • PaddleOCR — GitHub. Полный набор инструментов OCR.