Что такое диаризация: как ИИ различает говорящих на записи

Диаризация простыми словами

Диаризация (speaker diarization) отвечает на вопрос «кто и когда говорил». На входе — аудиозапись звонка или встречи, на выходе — список отрезков: «Спикер 1: 00:00–00:12, Спикер 2: 00:12–00:31» и так далее.

Важно: диаризация сама по себе не знает имён. Она группирует похожие голоса и присваивает им условные метки. Чтобы «Спикер 1» стал «оператором Анной», нужен дополнительный шаг — например, знание, что оператор всегда говорит первым, или сравнение с заранее записанным образцом голоса (это уже идентификация говорящего).

Как это работает внутри

Типичный конвейер состоит из нескольких этапов:

1. Определение речи (VAD). Система отделяет речь от тишины, музыки ожидания и шума.
2. Нарезка на короткие фрагменты. Речь делится на куски по долям секунды или секундам.
3. Голосовые эмбеддинги. Для каждого фрагмента нейросеть строит вектор — числовой «отпечаток» тембра и манеры речи.
4. Кластеризация. Похожие векторы объединяются в группы, каждая группа — один говорящий.
5. Сглаживание границ. Короткие ошибочные переключения убираются, границы реплик уточняются.

Современные end-to-end модели объединяют часть шагов в одну нейросеть и лучше справляются с перекрывающейся речью, но общая логика та же.

Как диаризация сочетается с транскрипцией

Распознавание речи (speech-to-text) выдаёт слова с временными метками, диаризация — отрезки по говорящим. Их совмещают по времени: каждое слово получает метку того, кто говорил в этот момент.

Многие облачные сервисы распознавания речи предлагают диаризацию как опцию в том же запросе. Есть и открытые инструменты, которые можно развернуть на своих серверах, если записи нельзя передавать наружу.

Где возникают ошибки

Перекрывающаяся речь. Когда люди перебивают друг друга, классические системы приписывают фрагмент одному спикеру или путают границы. Это самая частая проблема на живых встречах.

Похожие голоса. Два собеседника одного пола и возраста с похожей манерой речи могут слиться в одного спикера.

Моно-запись. Если звонок записан в один канал, система разделяет голоса только по звучанию. Если же телефония пишет стерео (клиент в одном канале, оператор в другом), диаризация почти не нужна: роли разделены физически.

Неизвестное число спикеров. Если модели не подсказать, сколько людей участвует, она может разделить одного человека на двоих или объединить двоих в одного.

Качество звука. Громкая связь, эхо, шум улицы и сильное сжатие телефонного канала ухудшают эмбеддинги.

Короткие реплики. «Да», «угу», «понял» — слишком мало звука, чтобы надёжно определить голос.

Как повысить точность на практике

• Пишите звонки в стерео, если телефония это позволяет. Это самое дешёвое и надёжное улучшение.
• Передавайте число участников, когда оно известно (например, звонок «оператор — клиент» почти всегда на двоих).
• Используйте отдельные микрофоны на встречах или записывайте каждого участника видеосвязи на свою дорожку.
• Проверяйте на своих данных. Возьмите несколько десятков реальных записей, разметьте вручную и сравните варианты по метрике DER (diarization error rate — доля времени, размеченного неверно).
• Добавьте правила ролей. Например, «спикер, который произносит приветствие компании, — оператор».

Где это применяется

• Колл-центры: контроль скриптов, анализ речи оператора отдельно от речи клиента, подсчёт доли времени разговора.
• Протоколы встреч: автоматические заметки с указанием, кто взял на себя задачу.
• Интервью и подкасты: расшифровка с разделением реплик для редактуры.
• Юридические и медицинские записи: где важно, кто именно произнёс фразу (с обязательной проверкой человеком).