Авторская Делаем реалистичный женский голос в реальном времени

Автор темы
586
4

Предисловие
Для начала нам потребуется средняя-мощная видеокарта, на слабой видеокарте будет большая задержка:finger_down:
Что потребуется?

Сама программа, ссылка для скачивания и туториал ниже:​

Туториал по скачиванию:

На открывшемся сайте листаем вниз и нажимаем на Hugging face как на скрине:

1714937099485.png

Далее видим кучу файлов:

1714937113677.png

Если у вас мак, то скачиваете мак версию.
Если у вас видеокарта AMD, то скачиваем onnxDirectML версию (самую новую)
Если у вас видеокарта Nvidia, то скачиваем onnxgpu версию (самую новую)

Установка
Распаковываем архив и ищем в папке файл "start_http.bat" и запускаем.
У вас начнут скачиваться файлы и в итоге запустится панель:


1714937161997.png
Для вывода звука из программы нам понадобится виртуальный аудио кабель (VAC) Virtual Audio Cabel

Архив распаковывать необязательно, для установки запускаем этот файл:


1714937213482.png

В установщике везде ждём далее и со всем соглашаемся.

ВАЖНО: ПРИ УСТАНОВКЕ КАБЕЛЬ ПОСТАВИТ СЕБЯ КАК ДЕФОЛТ УССТРОЙСТВО ВЫВОДА ЗВУКА, НЕ ЗАБУДЬТЕ ПОМЕНЯТЬ НА СВОИ НАУШНИКИ ОБРАТНО, А ТАК ЖЕ НЕ ЗАБЫВАЕМ ПОСТАВИТЬ LINE 1 В УССТРОЙСТВО ВВОДА В ДИСКОРДЕ :discord:


Интерфейс
Я сделал для вас перевод интерфейса на русский (только то, что нам нужно):

1714937228668.png

В Качестве ставим от 192 до 512 (выше нет смысла), в битрейте ставим 4096
В тональности ставим +12 если вы тестируете женскую голосовую модель и -12 если мужскую.
Далее нажимаем Start и профит. голосовая модель работает!


Заключение
Мы потратили всего 15 минут и получаем просто прекрасный результат по изменению голоса. Буду рад ответить на все ваши вопросы по статье в комментариях.:nya:
Результат можем послушать в этом видео: