Как работает распознавание речи (ASR): от звука к тексту
Основы3 минРедакция Innovialabs
Коротко
ASR переводит звуковую волну в признаки, нейросеть сопоставляет их со словами, а языковая модель выбирает самый вероятный текст. Качество измеряют через WER и всегда проверяют на своих записях.
Коротко: что делает ASR
ASR (Automatic Speech Recognition) — это технология, которая превращает речь в текст. На входе — аудиофайл или поток с микрофона, на выходе — расшифровка, часто с временными метками и разметкой говорящих.
Внутри это цепочка шагов: подготовка звука, извлечение признаков, акустическая модель, декодирование с учетом языка и постобработка текста.
Пайплайн: от звука к тексту
- Подготовка аудио. Запись приводят к одной частоте дискретизации, переводят в моно, нормализуют громкость. Иногда убирают шум и вырезают тишину (VAD — voice activity detection).
- Извлечение признаков. Звуковую волну режут на короткие окна и превращают в спектрограмму — картину того, какие частоты звучат в каждый момент. Чаще всего используют mel-спектрограмму, близкую к восприятию человеческого уха.
- Акустическая модель. Нейросеть смотрит на спектрограмму и предсказывает, какие звуки, буквы или фрагменты слов там прозвучали.
- Декодирование. Из множества вариантов выбирается наиболее вероятная последовательность слов. Здесь помогает языковая модель: она знает, что «оплатить заказ» встречается чаще, чем «оплатить за каз».
- Постобработка. Расстановка пунктуации, заглавных букв, преобразование «двести пятьдесят» в «250», разметка спикеров (diarization).
Современные системы часто объединяют шаги 3–4 в одну end-to-end модель: она обучена на огромном количестве пар «аудио — текст» и сразу выдает готовую фразу.
Как измеряют качество: WER
Основная метрика — WER (Word Error Rate), доля ошибок на уровне слов:
WER = (S + D + I) / N
- S — замены (сказали «счет», распознано «свет»);
- D — пропуски слов;
- I — лишние вставки;
- N — число слов в эталонной расшифровке.
Чем ниже WER, тем лучше. Для языков без четких границ слов используют CER — то же самое на уровне символов.
Важно: WER из чужих бенчмарков мало говорит о ваших данных. Модель, отлично работающая на чистой студийной речи, может заметно хуже справляться с записями колл-центра.
Что ухудшает распознавание
| Фактор | Почему мешает | Что помогает |
|---|---|---|
| Шум и эхо | Маскирует части слов | Хороший микрофон, шумоподавление, модели, обученные на шумных данных |
| Акценты и диалекты | Произношение отличается от обучающих данных | Дообучение на своих записях, выбор модели с нужными языками |
| Code-switching | Смена языка внутри фразы | Мультиязычные модели, словари терминов |
| Телефонный канал | Узкая полоса частот, сжатие | Модели для телефонной речи |
| Термины и имена | Редкие слова модель не знает | Подсказки (hotwords), кастомный словарь |
| Перебивания | Наложение голосов | Diarization, раздельные каналы записи |
Code-switching особенно актуален для Узбекистана: в одной фразе люди легко смешивают узбекский, русский и английские термины. Не каждая модель с этим справляется, поэтому проверять нужно именно на таких записях.
Где ASR применяют в бизнесе
- Колл-центры: расшифровка звонков, поиск по разговорам, контроль скриптов, автоматическое заполнение CRM.
- Голосовые сообщения: расшифровка аудио в мессенджерах и чат-ботах.
- Голосовые ассистенты и IVR: клиент говорит, система понимает запрос и направляет его.
- Встречи и интервью: протоколы, субтитры, краткие резюме через LLM.
- Медиа: субтитры для видео, поиск по архиву.
Как выбрать решение
- Соберите 30–50 реальных записей с типичными условиями и сделайте эталонные расшифровки.
- Прогоните несколько моделей и посчитайте WER на своих данных.
- Решите, нужна ли обработка в реальном времени или достаточно пакетной.
- Определите, можно ли отправлять аудио в облако или нужна локальная установка из-за требований к данным.
- Учтите постобработку: пунктуацию, числа, разметку спикеров.