Восстановление речи из зашумленных сигналов с помощью gan и mmwave

В статье представлен метод восстановления речи из сигналов с низким отношением сигнал/шум, основанный на генеративно-состязательной сети (GAN) с двойным обучением, учитывающей информацию, полученную от радара миллиметрового диапазона (mmWave).

Авторы отмечают, что существующие методы восстановления речи часто сталкиваются с трудностями при обработке сигналов с низким отношением сигнал/шум. Для решения этой проблемы предлагается использовать радар mmWave для получения дополнительной информации об исходном сигнале.

Предложенная архитектура GAN состоит из генератора и дискриминатора. Генератор предназначен для восстановления исходного сигнала речи из зашумленного сигнала и данных радара mmWave. Дискриминатор оценивает качество восстановленного сигнала, пытаясь отличить его от реального сигнала речи.

Особенностью предложенного метода является использование двойного обучения, которое позволяет генератору и дискриминатору улучшать свои способности, конкурируя друг с другом. Кроме того, архитектура учитывает информацию, полученную от радара mmWave, для более точного восстановления сигнала.

Эксперименты показали, что предложенный метод превосходит существующие методы восстановления речи в условиях низкого отношения сигнал/шум. Использование данных радара mmWave позволяет значительно повысить качество восстановленного сигнала.