14. Речь и OCR локально
Зачем эта глава. Инференс — это не только текст. Голосовые заметки и сканы документов часто нужны там же, где LLM, и их тоже можно обрабатывать локально. Здесь — коротко о том, как устроены пайплайны и что важно при выборе.
За 30 секунд
- Речь и сканы тоже обрабатываются локально — отдельными, гораздо более лёгкими моделями, чем LLM.
- Для речи: VAD + ASR (Whisper — универсально, GigaAM — сильнее на русском); метрики — WER/CER и RTF.
- Для документов: сначала проверьте текстовый слой PDF, и только если его нет — OCR (Tesseract для простого, PP-OCR/RapidOCR для сложной вёрстки).
- На одной машине разумный дефолт — ASR и OCR на CPU, LLM на GPU.
14.1 Зачем локально
- Приватность. Аудио и сканы не уходят в облако.
- Офлайн. Работает без сети.
- Предсказуемая стоимость. Нет оплаты за минуты и страницы.
- Контроль. Можно выбрать модель под язык и домен.
Цена — качество и время на настройку. Локальные модели догоняют облачные, но не во всём.
14.2 Как устроено распознавание речи
Типичный пайплайн:
аудио → декодирование в WAV 16 кГц моно → VAD → модель ASR → пунктуация/нормализация → текст
- Декодирование. Форматы вроде ogg/opus, mp3, m4a нужно привести к PCM. Это делает ffmpeg или встроенный декодер.
- VAD (voice activity detection) — определение речи и пауз. Помогает резать длинные записи и не гонять тишину.
- ASR (automatic speech recognition) — модель, которая превращает аудио в текст.
- Постобработка — пунктуация, числа, нормализация, разбиение на абзацы.
Для длинных записей аудио режут на окна (например, 30 секунд) с перекрытием, иначе модель теряет контекст или упирается в память.
14.3 Whisper
Whisper (OpenAI, 2022) — encoder-decoder трансформер, обученный на большом многоязычном корпусе. Работает с окнами по 30 секунд, поддерживает определение языка и перевод на английский.
Размеры и вес:
| Модель | ggml f16 (whisper.cpp) | q5_1 (примерно) | Замечание |
|---|---|---|---|
| tiny | ~75 МБ | ~31 МБ | слишком грубо для терминов |
| base | ~142 МБ | ~57 МБ | минимум для связной речи |
| small | ~466 МБ | ~182 МБ | лучше термины, но медленнее |
| medium | ~1,5 ГБ | ~0,54 ГБ | хороший баланс |
| large-v3 | ~3,1 ГБ | ~1,1 ГБ | лучшее качество, больше памяти |
Это размеры f16-моделей в формате whisper.cpp. Исходные .pt-чекпоинты OpenAI и другие конвертации могут занимать больше; ориентируйтесь на файл, который реально скачали.
whisper.cpp — C/C++ порт с поддержкой CPU, CUDA, Metal и квантов. Позволяет запускать Whisper без Python и GPU.
Особенности:
- на тишине и музыке может «галлюцинировать» текст;
- чувствителен к шуму и акценту;
- для русского технического текста качество зависит от размера модели;
- промпт с терминами может помочь, но иногда усиливает галлюцинации.
Warning
Классическая ловушка Whisper — повторяющаяся фраза или текст, похожий на подпись к субтитрам, на месте тишины или музыки. Модель обучалась на слабо размеченных данных из интернета (Radford et al.) и дорисовывает правдоподобный текст там, где речи нет. Лечится VAD перед ASR: на вход модели должны попадать только участки с речью.
14.4 GigaAM и другие русские модели
Для русского языка имеет смысл смотреть специализированные модели. GigaAM (SberDevices) — семейство акустических моделей, обученных self-supervised преимущественно на русской речи; версия v3 показывает лучшее качество на русских бенчмарках, чем Whisper-large-v3, по данным авторов. «Русскость» здесь следует не из названия статьи, а из обучающих данных и приведённых авторами замеров — проверяйте на своих записях.
Варианты:
- CTC — быстрее, проще;
- RNNT — обычно точнее;
- e2e — с пунктуацией и нормализацией на выходе.
Модели небольшие (сотни мегабайт), хорошо работают на CPU. Лицензия MIT у кода и весов — важный плюс для локального использования.
Другие варианты: Vosk (лёгкий, офлайн), NeMo-модели, sherpa-onnx. Выбор зависит от языка, домена и готовности возиться со сборкой.
14.5 Метрики речи
- WER (word error rate) — доля ошибок на уровне слов: замены, вставки, пропуски.
- CER (character error rate) — на уровне символов; полезна для языков с богатой морфологией.
- RTF (real-time factor) — отношение времени обработки к длительности аудио. RTF 0,5 означает, что 70 секунд аудио обрабатываются за 35 секунд.
WER сильно зависит от домена: на чистой студийной речи и на телефонном канале это разные числа. Сравнивайте на своих записях.
Посчитай сам. За неделю накопилось 6 часов записей совещаний. ASR на CPU работает с RTF 0,3. Сколько займёт расшифровка и уложится ли она в ночь с 23:00 до 7:00?
Решение
6 ч × 0,3 = 1,8 ч ≈ 1 ч 48 мин
Укладывается с большим запасом: в восьмичасовое окно поместилось бы 8 / 0,3 ≈ 26 часов записей. Если RTF окажется 1,0 (медленная модель, слабый CPU), 6 часов аудио займут 6 часов — всё ещё влезает, но без запаса на OCR и LLM.
14.6 OCR: текст с картинок и сканов
OCR (optical character recognition) — распознавание текста на изображениях. Типичный пайплайн:
изображение/PDF → предобработка → детекция текстовых блоков → распознавание → структура
- Предобработка: поворот, выравнивание, бинаризация, масштаб (обычно 300 DPI).
- Детекция: найти области с текстом (строки, абзацы, таблицы).
- Распознавание: превратить область в строку.
- Структура: порядок чтения, колонки, таблицы, заголовки.
Tesseract
Классический открытый OCR (Apache 2.0), LSTM-движок, много языков, включая русский. Плюсы: лёгкий, быстрый на CPU, предсказуемый. Минусы: хуже на сложной вёрстке, рукописном тексте и низком качестве сканов.
PP-OCR / RapidOCR
PP-OCR (PaddleOCR) — детектор + распознаватель, обученные на больших данных; хорошо работают на разных языках и вёрстке. RapidOCR — ONNX-порт, который проще запускать без тяжёлых зависимостей.
Плюсы: лучше на сложных страницах, таблицах, многоколоночном тексте. Минусы: тяжелее, медленнее на CPU, больше зависимостей.
Гибридный подход
- Если в PDF есть текстовый слой — извлечь его, OCR не нужен.
- Если слой битый или это скан — рендерить страницы в изображения и запускать OCR.
- Для таблиц и формул — отдельные инструменты или ручная проверка.
Tip
Проверить текстовый слой можно за секунду: выделите текст в PDF-просмотрщике или извлеките его любой утилитой вроде
pdftotext. Если получается осмысленный текст — OCR не нужен. Если пусто или «кракозябры» — это скан или битый слой.
14.7 Пример расчёта
100 страниц сканов.
- Tesseract: ~2–4 с на страницу на 4 ядрах → 3–7 минут.
- PP-OCR/RapidOCR: ~15–25 с на страницу на CPU → 25–42 минуты.
- На GPU: быстрее, но конкурирует с LLM за VRAM.
Если LLM уже занимает 13–14 ГБ из 16, OCR на GPU может не поместиться. Тогда OCR на CPU — разумный дефолт, а GPU — для разовых задач.
14.8 Качество OCR и типичные ошибки
- Числа и единицы: «1,5» может стать «1.5» или «15»; «мм» — «мн».
- Похожие символы:
О/0,l/1,З/3. - Дефисы и переносы: слова разрываются на строке.
- Повороты и перспектива: страница снята под углом.
- Печати и подписи: могут перекрывать текст.
- Таблицы: порядок чтения ломается.
Поэтому OCR почти всегда требует постобработки и проверки, особенно если дальше эти данные идут в LLM.
14.9 VLM: когда нужен не OCR, а понимание картинки
VLM (vision-language model) — модель, которая принимает изображение и текст. В локальном варианте это обычно языковая модель плюс vision-энкодер и проектор; в GGUF они лежат отдельным файлом mmproj.
VLM полезен, когда нужно не просто извлечь текст, а понять вёрстку, найти подпись к рисунку или ответить на вопрос по схеме. Но:
- изображение превращается в токены и занимает контекст;
- vision-энкодер требует дополнительной памяти;
- мелкий текст и таблицы VLM часто читает хуже специализированного OCR.
Практичный гибрид: OCR извлекает текст и координаты, VLM отвечает на вопросы по странице, LLM сводит результат.
14.10 Совмещение с LLM
Типичный локальный пайплайн:
flowchart LR
subgraph CPU ["CPU и ОЗУ"]
A["Аудио"] --> V["VAD"] --> ASR["ASR:<br/>GigaAM / whisper.cpp"]
P["PDF / скан"] --> TL{"Есть<br/>текстовый слой?"}
TL -->|"нет"| OCR["OCR:<br/>Tesseract / RapidOCR"]
end
subgraph GPU ["GPU"]
LLM["LLM"]
end
ASR -->|"транскрипт"| ST[("Промежуточные<br/>результаты на диске")]
OCR -->|"текст"| ST
TL -->|"да: извлечь текст"| ST
ST --> LLM
Что важно:
- Не запускайте тяжёлые модели одновременно на одной GPU, если не считали память.
- Очередь задач помогает не конкурировать за ресурсы.
- Разделяйте CPU и GPU: ASR/OCR на CPU, LLM на GPU — часто лучший баланс.
- Храните промежуточные результаты (транскрипт, OCR-текст), чтобы не пересчитывать.
14.11 Что выбрать
| Задача | Начальный выбор |
|---|---|
| Русская речь, CPU | GigaAM v3 (CTC/RNNT/e2e) |
| Многоязычная речь, CPU | whisper.cpp base/small |
| Многоязычная речь, GPU | whisper.cpp medium/large или faster-whisper |
| Простые сканы, CPU | Tesseract с языковым пакетом |
| Сложная вёрстка, CPU | RapidOCR / PP-OCR |
| PDF с текстовым слоем | извлечение текста без OCR |
Это отправные точки, а не догмы: проверяйте на своих данных.
Ключевые идеи
- Речь и OCR — отдельные пайплайны, но с теми же принципами: модель, препроцессинг, постобработка, метрики.
- Whisper универсален, GigaAM силён на русском; размер модели — компромисс качества и скорости.
- WER/CER и RTF — базовые метрики; сравнивать надо на своём домене.
- OCR для PDF начинается с проверки текстового слоя.
- CPU для ASR/OCR и GPU для LLM — часто лучший баланс на одной машине.
Проверь себя
- Зачем в пайплайне ASR нужен VAD?
- Что означает RTF 0,5?
- Почему WER на телефонной записи выше, чем на студийной?
- Когда OCR не нужен?
- Почему запуск OCR на GPU может быть плохой идеей, если там уже работает LLM?
Ответы
- VAD отделяет речь от тишины и шума, позволяет резать аудио на куски и не тратить время на обработку пустых участков. Он также снижает галлюцинации на тишине.
- Время обработки равно половине длительности аудио: 70 секунд записи обрабатываются примерно за 35 секунд.
- Телефонный канал добавляет шум, сжатие и ограничение полосы частот; модель хуже различает звуки и термины. Домен и качество записи сильно влияют на WER.
- Когда в PDF есть корректный текстовый слой: извлечение текста дешевле и точнее, чем OCR.
- OCR и LLM будут конкурировать за видеопамять. Если LLM занимает почти всю VRAM, OCR может вытеснить её в системную память и резко замедлить обе задачи.
Источники главы
- Radford et al., «Robust Speech Recognition via Large-Scale Weak Supervision» (2022) — arXiv:2212.04356. Оригинальная статья Whisper.
- whisper.cpp — GitHub. C/C++ порт с квантами и бэкендами.
- Kutsakov et al., «GigaAM: Efficient Self-Supervised Learner for Speech Recognition» (2025) — arXiv:2506.01192. Русская ASR-модель; сравнение с Whisper-large-v3.
- Silero VAD — GitHub. Лёгкий детектор речи.
- Tesseract documentation — tesseract-ocr.github.io. Установка, языковые пакеты, ограничения.
- Du et al., «PP-OCR: A Practical Ultra Lightweight OCR System» (2020) — arXiv:2009.09941. Архитектура PP-OCR.
- RapidOCR — GitHub. ONNX-порт для практического запуска.
- PaddleOCR — GitHub. Полный набор инструментов OCR.