TL;DR. Я адаптировал открытую TTS-модель tiny-voca к русскому языку: обучил два голоса на открытом датасете Dialogs, собрал русский фонемайзер, добавил расстановку ударений и сделал голосового ассистента с веб-звонком и голосовыми сообщениями. Модель занимает около 21 МБ, работает офлайн на CPU и не требует облачной подписки. Демо: voice.lmchat.ru.

Зачем ещё одна русская TTS

Современные нейросетевые синтезаторы речи обычно дают высокое качество, но требуют заметных ресурсов: сотни мегабайт весов, GPU для комфортной задержки и, часто, облачный API. Для голосового ассистента это означает зависимость от внешнего сервиса, расходы на трафик и вопросы с передачей пользовательских данных.

Мне нужен был другой вариант: компактная русская модель, которая работает локально на обычном сервере, быстро отвечает на короткие реплики и может быть встроена в голосового бота. Когда я увидел tiny-voca — открытую модель на 4,5 млн параметров и 21 МБ ONNX-весов, — решил проверить, насколько реалистично сделать на её основе русскую речь.

Что получилось

В результате получилась русская версия tiny-voca:

Параметр

Значение

Параметры модели

4,5 млн

Размер ONNX

около 21 МБ

Частота дискретизации

24 кГц

Голоса

M1 — женский, D1 — мужской

Режим работы

офлайн, CPU

Лицензия модели и кода

Apache-2.0

Данные обучения

Dialogs, OpenRAIL

Модель синтезирует короткие ответы за доли секунды на CPU. Этого достаточно для голосового ассистента, интерактивного демо и интеграции с телефонным ботом.

Демо доступно здесь: voice.lmchat.ru.

На странице можно:

  • послушать примеры русской речи;

  • ввести произвольный текст и получить озвучку;

  • выбрать голос и изменить скорость;

  • открыть голосовой чат с ботом;

  • отправить голосовое сообщение и получить голосовой ответ;

  • позвонить боту в браузере: после гудков он отвечает голосом, слушает и отвечает;

  • послушать запись реального разговора с телефонным ботом.

Это не просто страница с кнопкой «синтезировать». Это работающий голосовой сценарий: микрофон, распознавание речи, языковая модель, синтез и воспроизведение ответа, совершить телефонный звонок на базе локальной модели qwen3.5:9b.

Данные: Dialogs

Для обучения я взял открытый датасет Dialogs. В нём — студийные эмоциональные диалоги трёх актёров; для задачи подошли два голоса: женский M1 и мужской D1.

После фильтрации и подготовки осталось около 12 часов чистой речи. Часть записей была отбракована на этапе контроля качества: слабое выравнивание, низкая уверенность аннотатора, неизвестные фонемы, слишком длинные фонемы и другие артефакты.

Этап

Объём

Исходный датасет

11 796 строк метаданных, 9 996 WAV, 17,42 часа

Отобранные голоса M1 + D1

6 849 клипов, 13,31 часа

После сплитов

train 6 310, val 269, test 270

После фонемизации

6 697 строк, 12,88 часа

После аннотации

около 12,1 часа

Для контроля качества я прогнал 60 клипов через ASR: WER составил 3,3%. Это не гарантия идеальных данных, но достаточно хороший сигнал, что разметка и выравнивание не разваливаются.

Русский фронтенд

В tiny-voca уже была основа для языковых профилей, но русского профиля не было. Я добавил его и собрал отдельный русский путь обработки текста.

Основные компоненты:

  • eSpeak NG 1.51 — фонемизация;

  • ударения из Dialogs — для фраз, которые есть в корпусе;

  • RUAccent — для произвольного текста и разрешения омографов;

  • eSpeak fallback — если внешняя модель расстановки ударений недоступна;

  • wav2vec2-based aligner — для разметки длительностей фонем.

Принципиальный момент: текст фонемизируется предложениями, а не отдельными словами. Иначе служебные слова читаются неестественно: например, предлог «с» может прозвучать как отдельная буква, а не как часть фразы.

Для произвольного текста я подключил RUAccent. Он помогает с ударениями и омографами, но я не стал делать его единственной точкой отказа: при ошибке система возвращается к обычному eSpeak-пайплайну.

Например, фраза «выбор голоса» размечается как:

textв+ыбор г+олоса

в+ыбор г+олоса

То есть «вЫбор гОлоса», а не «выбор голОса».

Отдельно я добавил небольшой словарь исключений для слов, где важно сохранить стабильное произношение: название модели, названия сервисов, отдельные грамматические формы. Такой подход практичен: нейросетевая разметка покрывает общий случай, а словарь — критичные для продукта слова.

Обучение

Обучение выполнялось в Docker на Ubuntu 24.04, Python 3.12 и PyTorch 2.6.0+cu124. Модель обучалась с нуля на подготовленных русских данных.

Сначала я провёл пилот на 15 000 шагов, чтобы проверить, что русский язык вообще обучается и данные не содержат критических ошибок. Уже на этом этапе Whisper large-v3 распознавал контрольные фразы без ошибок, хотя просодия была ещё недостаточно живой.

После этого я запустил полный прогон на 100 000 шагов.

Железо и скорость

Обучение сначала шло на Tesla P40 24 ГБ, затем я перешёл на Tesla V100 32 ГБ.

Этап

P40

V100

Pre-GAN

1,12–1,40 шага/с

около 6,0 шага/с

GAN

0,72–0,75 шага/с

1,66–1,75 шага/с

Пилот 15 000 шагов

около 4,7 часа

—

Полный прогон 100 000 шагов

около 35–38 часов

около 12,5 часа GPU-времени

V100 дала примерно 4–5-кратное ускорение на этапе до GAN и около 2,4-кратное на GAN-фазе. Для полного обучения это разница между полутора сутками и половиной суток.

Неожиданное наблюдение: power limit

Во время обучения на V100 я заметил неочевидную вещь: при снижении лимита мощности до 125 Вт скорость обучения оказалась выше, чем при 225–250 Вт.

Лимит

Шагов/с

Температура

100 Вт

2,09

66 °C

125 Вт

2,26

70 °C

150 Вт

1,96

71 °C

175 Вт

1,83

71 °C

200 Вт

1,76

73 °C

225 Вт

1,66

74 °C

250 Вт

1,74

75 °C

Эффект повторялся в нескольких измерениях. На 125 Вт карта работала стабильнее, а пайплайн подготовки данных успевал за GPU. При высоком лимите производительность проседала, хотя формально карта могла работать быстрее.

Я не хочу представлять это как универсальный закон: в большинстве задач ограничение мощности снижает производительность. Но в конкретной связке «V100 + этот training pipeline» лимит 50% оказался удачным компромиссом по скорости, температуре и шуму.

Результат обучения

После 100 000 шагов модель синтезирует русскую речь с двумя голосами. Итоговые сэмплы автоматически сохраняются в каталоге оценки и проходят контроль через Whisper large-v3.

Метрика пилота 15k

Значение

Loss

14,54

Validation mel

0,8385

Duration ratio

0,9408

Voicing accuracy

0,9417

Pause accuracy

0,9169

Pitch error

3,07 полутона

ASR-WER на контрольных фразах

0,000

Важно не переоценивать WER: он показывает разборчивость на контрольных фразах, но не измеряет естественность, интонацию и качество пауз. На пилоте речь уже была понятной, но всё ещё недостаточно живой. Полный прогон нужен был именно для улучшения просодии и стабильности.

Голосовой ассистент

Отдельная часть проекта — не сама TTS, а превращение её в полезный продукт.

Я собрал демо-страницу voice.lmchat.ru, где можно:

  • синтезировать произвольный русский текст;

  • переключать голоса M1 и D1;

  • менять скорость речи;

  • слушать примеры диалогов;

  • общаться с ботом голосом;

  • отправлять голосовые сообщения;

  • слушать свои сообщения и ответы бота в формате, похожем на мессенджер;

  • совершать веб-звонок боту без телефонии.

В голосовом чате пользователь говорит в микрофон, а бот отвечает голосом. Текст распознавания и текстовый ответ не выводятся: коммуникация выглядит как обмен голосовыми сообщениями. Каждый ответ можно переслушать.

Есть и режим веб-звонка: после нажатия кнопки звучат гудки, затем бот «берёт трубку», здоровается и начинает диалог. Это не телефония через SIP и не звонок на реальный номер, а браузерный голосовой сценарий через HTTP.

Для телефонного бота используется другой путь: Asterisk принимает вызов, передаёт аудио в сервис распознавания, локальная LLM формирует ответ, а tiny-voca синтезирует речь. Такой бот можно позвонить по номеру и поговорить с ним голосом.

Архитектура демо

Упрощённо пайплайн выглядит так:

textПользователь
   ↓ микрофон
ASR
   ↓ текст
LLM
   ↓ ответ
Русский фронтенд: нормализация, ударения, фонемы
   ↓
tiny-voca TTS
   ↓
Аудио в браузер или телефонную сеть

Пользователь ↓ микрофон ASR ↓ текст LLM ↓ ответ Русский фронтенд: нормализация, ударения, фонемы ↓ tiny-voca TTS ↓ Аудио в браузер или телефонную сеть

Для сайта используется HTTP-пайплайн: запись фразы, распознавание, генерация ответа, синтез и воспроизведение. Для телефонии — AudioSocket и Asterisk.

Локальная LLM работает через Ollama. Для демо я использую qwen3.5:9b; она формирует короткие ответы, подходящие для голосового диалога. Ollama предоставляет HTTP API для chat completions, включая non-streaming режим.

Ограничения

Проект не претендует на замену больших облачных TTS.

  • Качество речи ниже у крупных моделей, особенно на сложной интонации и длинных текстах.

  • Ударения в редких словах всё ещё могут ошибаться; RUAccent и словарь исключений снижают, но не устраняют проблему полностью.

  • Голоса M1 и D1 основаны на записях актёров Dialogs. Для коммерческого использования нужно отдельно учитывать условия OpenRAIL и не создавать рекламу или высказывания от их имени без соответствующих прав.

  • Модель оптимизирована для коротких реплик и диалоговых сценариев, а не для аудиокниг или длинного сторителлинга.

Вывод

Главный результат проекта — не рекорд качества синтеза, а доказательство, что голосовой ИИ может быть маленьким, локальным и доступным. Русская tiny-voca весит около 21 МБ, работает на CPU и не требует облачной подписки. Для коротких диалогов, голосовых уведомлений, интерактивных помощников и встроенных сценариев этого уже достаточно.

В оригинальной tiny-voca модель и вовсе способна работать прямо в браузере: пользователь вводит текст, а синтез происходит на его устройстве. Это хороший ориентир для того, куда может двигаться голосовой ИИ: не «отправить текст в облако и дождаться аудио», а запустить компактную модель рядом с пользователем.

Когда модели перестают занимать гигабайты, меняется сам подход к продукту. Голосового ассистента можно поставить не только на сервер, но и туда, где раньше ИИ казался избыточным: в кассу, терминал, автомобиль, умную колонку или бытовую технику.

И если однажды микроволновка спросит: «Разогреть как обычно?», а холодильник напомнит, что молоко заканчивается, — это не обязательно будет облачный сервис с подпиской. Возможно, внутри будет маленькая офлайн-модель вроде tiny-voca-ru: 21 мегабайт, который умеет говорить по-русски.

Демо: voice.lmchat.ru

Ссылки

Спасибо авторам tiny-voca за компактную открытую модель. 21 МБ, которые умеют говорить по-русски офлайн, — хороший аргумент в пользу локальных голосовых ассистентов.