Делаю «Канал 15» — рацию-компаньон для Euro Truck Simulator 2: восемнадцать выдуманных дальнобойщиков болтают в эфире у игрока, отвечают на голос и запоминают его между рейсами. К озвучке у нас три движка: ElevenLabs (eleven_v3), OpenAI-совместимый gpt-audio через OpenRouter и локальный клон на XTTS. Пул текстов — порядка четырёх тысяч реплик, и почти сразу выяснилось, что все три движка по-разному, но уверенно ставят русские ударения не туда. Ночное приветствие «гудни» читалось как «гУдни» — как команда, «йогУрты», «кОзел» вместо, ну вы поняли, клички и позывные вроде «михалЫч» и «биби, кни» ломались каждый по-своему. Здесь — что я построил, где уперся в стену и что так и осталось открытым вопросом.
Шаг 1. Проверка ударений до синтеза, а не после
Переозвучка стоит денег (платные движки считают символы, локальный — часы GPU-времени), поэтому «сгенерируем и послушаем» как стратегия не проходит. Сначала нужен детектор проблемных слов в тексте реплики. Остановился на ruaccent (1.5.8.3) с моделью omograph turbo2: библиотека расставляет ударения по контексту и отдаёт текст с маркером + перед ударной гласной.
Поверх — проектный словарь stress_dict.json: слово с эталонным ударением, IPA-транскрипция, источник и опциональный xtts_override — эмпирическую форму под наш клон. Сейчас там 41 слово, и половина — клички, позывные и жаргон, которых ни в одном словаре нет.
Ключевое решение — это гейт, а не линтер. Неподтверждённое срабатывание (слово без ударения от модели и не в словаре, либо жаргон вне словаря) останавливает генерацию до траты символов. Обход существует, но только явным флагом --stress-ok, и факт обхода печатается в лог:
bad = [(w, p, r) for w, p, r, ok in sc.check_line(text) if not ok]
if bad:
for w, p, r in bad:
print(f" УДАРЕНИЕ? {w} → {p or '???'} ({r}) | {text[:70]}")
raise SystemExit("stress_check: неподтверждённые флаги — правьте stress_dict.json "
"или запустите с --stress-ok (фиксируется в выводе)")
Отдельная тонкость — ложные срабатывания. Модель turbo2 не ставит + на части коротких слов в контексте («или», «когда», «что-то»), и это не риск для синтеза, а особенность модели. Для таких слов сделан «вайтлист пропусков», который пополняется прогонами: если слово в одиночную прогонку получает ударение, а в контексте его нет, флаг игнорируется.
Прогон всего эфира: 4280 строк, 41 подтверждённый флаг (все — по словарю), 0 неподтверждённых. Девственно чисто, но это заслуга словаря, а не модели.
Шаг 2. Словари произношения ElevenLabs оказались закрыты
Логичный путь для eleven_v3 — pronunciation dictionaries: загружаешь словарь с phoneme/alias-тегами, модель произносит как скажешь. Не вышло: на нашем тарифе (creator) endpoint словарей отвечает HTTP 401 Ручной тест 16.11, результат зафиксирован комментарием прямо в коде генератора. На более дорогих тарифах, судя по доке, словари доступны, но проект бесплатный и платить за озвучку выдуманных мужиков столько не готов.
Отдельно проверили SSML: по официальной доке ElevenLabs модели Eleven v3 и v4 SSML не поддерживают вообще, вместо разметки у них свои аудио-теги [whispers], [sighs] и т.п. Есть упоминание, что v3 вроде бы ест IPA-транскрипцию, но там же честно написано «not 100% consistent» — то есть контроль качества всё равно нужен, и я его описали в шаге 1.
Шаг 3. Рабочий обход: подмена текста перед синтезом
То, что реально работает у всех трёх движков, — фонетическая подмена только в тексте, который уходит в синтез. Отображаемые тексты, субтитры и хэши-сигнатуры (по ним решаем, что переозвучивать) не трогаю — иначе любая правка словаря пересобирала бы весь эфир.
Приём простой: ударную гласную удваиваем. «гудни» → «гуднии», «километр» → «киломеетр». Слух модели принимает удвоенную гласную как сигнал «ударение сюда», а в отображаемом тексте игрок видит нормальное слово. Словарь подмен строится из того же stress_dict.json, есть отдельные эмпирические формы, которые лучше слышит наш клон:
for e in json.loads((ROOT / "phrases" / "stress_dict.json").read_text(encoding="utf-8")):
if e.get("xtts_override"):
m[e["word"]] = e["xtts_override"] # форма, которую лучше слышит наш клон
continue
s = e["stressed"]
for i, ch in enumerate(s):
if ch in "АЕЁИОУЫЭЮЯ":
m[e["word"]] = (s[:i] + ch.lower() * 2 + s[i + 1:]).lower()
break
Подмена — регэкспом по собранной таблице, идемпотентно, регистронезависимо:
XTTS_STRESS_RX = _re_mod.compile("|".join(XTTS_STRESS), _re_mod.IGNORECASE)
return XTTS_STRESS_RX.sub(lambda m: XTTS_STRESS[m.group(0).lower()], text)
Понимаю, что это латание на уровне «работает — не трогай». Плюс один: один и тот же словарь обслуживает три разных движка. Минус: подмена меняет акустику слова, и иногда слышно лёгкое «завывание» на удвоенной гласной, особенно у XTTS на длинных словах.
Шаг 4. Точечная переозвучка вместо полной
Раз тексты и сигнатуры разделены, переозвучка стала дешёвой: снимаем подпись нужных реплик в манифестах эфира, пересинтезируем только их, расход символов считаем до запуска. Контроль качества — faster-whisper (small, CPU, int8): распознаём результат и сравниваем с эталоном через difflib.SequenceMatcher, порог приёмки 0.95, всё что ниже 0.85 — «послушать ухом». В Whisper-контроле, правда, есть слепая зона: он русскоязычный, поэтому реплики на других языках идут одним дублем без проверки, а там, где whisper в ветке не подключён, остаётся только слушать самому.
Открытые вопросы
Именно за этим пост и пишу. Ударения в русской речи на закрытых TTS — вечная боль, но у сообщества наверняка накопился арсенал получше нашего:
Кто-нибудь заставил eleven_v3 стабильно произносить нетривиальные ударения без словарей и подмен? IPA-теги реально работают в проде или «not 100% consistent» означает «не работает»?
Морфологическая разметка перед синтезом — делают ли её серьёзно: pymorphy3 → словарная форма → ударение из словаря → возврат флексии с сохранённым ударением? Есть ли готовая связка, или все всё равно хардкодят подмены?
Наш гейт — проприетарный словарь на 41 слово. Есть ли открытый словарь русских «ударенческих исключений» (слова вроде «йогурт», «договор», «красивее»), который не стыдно подключить как зависимость?
Альтернатива в лоб: гнать весь вход через ruaccent заранее и хардкодить подмены для всех слов, где модель расставляет
+не так, как мы слышим. Это масштабируется лучше ручного словаря, но утонет в ложных срабатываниях или жить можно?
Буду благодарен за опыт, ссылки и особенно за примеры «у нас работает так».
Комментарии 0