Уменьшение структурного шума в малоресурсном s2tt непали-английский

Уменьшение структурного шума в малоресурсном переводе текста в речь (S2TT): оптимизированный каскадный конвейер непали-английский с восстановлением пунктуации.

В задачах преобразования текста в речь (TTS) низкоресурсных языков структурный шум, такой как неверная пунктуация или ненормальный порядок слов, может значительно снизить качество синтезированной речи. В данной работе представлен оптимизированный каскадный конвейер непали-английский для улучшения S2TT с акцентом на восстановление пунктуации.

Этот конвейер включает в себя несколько этапов: во-первых, модель восстановления пунктуации, обученная на корпусе непальского текста, предсказывает пропущенную пунктуацию в исходном тексте. Затем восстановленный текст передается в модель перевода непали-английский. Наконец, английский текст подается в модель TTS для генерации речи.

Особое внимание уделяется оптимизации каждого этапа конвейера для повышения общей производительности. Исследователи экспериментируют с различными архитектурами и гиперпараметрами для модели восстановления пунктуации и модели перевода. Они также исследуют различные модели TTS и стратегии их обучения. Результаты показывают, что оптимизированный каскадный конвейер значительно превосходит базовые системы S2TT на непальском языке, особенно в отношении разборчивости и естественности синтезированной речи. Авторы подчеркивают важность решения проблемы структурного шума для улучшения S2TT низкоресурсных языков и демонстрируют эффективность предлагаемого подхода.