Нейросеть для озвучки или живой голос?

Что сегодня умеет нейросеть для озвучки текста?

ИИ-голосом называют несколько разных технологий, и решают они разные задачи.

Сильные стороны у всех этих технологий похожи. Нейросеть работает быстро, текст можно поправить без новой сессии записи, из одного сценария получаются версии на многих языках, а интонация остаётся одинаковой даже в сотнях коротких роликов.

Слабые места тоже общие:

• на длинных фрагментах интонация становится плоской;
• ударения и ритм иногда звучат странно;
• имена и названия произносятся с ошибками;
• слушатели замечают, что говорит не человек.

Среди широко известных сервисов есть, например, ElevenLabs. Возможности и качество таких сервисов меняются с каждым обновлением, поэтому выбирайте по тому, как сервис прочитает ваш собственный текст. Как это проверить, описано ниже.

Хорошо ли нейросеть озвучивает на латышском и как это проверить?

Качество озвучки на латышском отличается от инструмента к инструменту и меняется с каждым обновлением. В Латвии есть и свои компании языковых технологий, например Tilde, но какой бы сервис вы ни выбрали, результат стоит проверить собственным тестом. В латышском есть долгие гласные, мягкие согласные и ударение, которое обычно падает на первый слог, поэтому на нём проверять нужно внимательнее, чем на английском.

Напишите один абзац, в котором есть всё перечисленное ниже, озвучьте его в каждом сервисе, который рассматриваете, и прослушайте в наушниках вместе с носителем языка:

1. Имена людей и названия мест, латышские и иностранные.
2. Числа, даты, цены цифрами и сокращения вроде SIA, LR, EUR.
3. Долгие гласные и мягкие согласные: ā, ē, ī, ū; ķ, ģ, ļ, ņ.
4. Ударение, которое в латышском обычно падает на первый слог.
5. Вопрос и восклицание.
6. Фразу на смеси языков: латышское предложение с английским названием бренда или русское с латышским названием улицы.
7. Длинное предложение с множеством запятых.

При прослушивании ищите типичные ошибки:

• неправильное ударение;
• укороченные долгие гласные;
• числа не в том падеже;
• механический ритм на запятых;
• акцент, который плавает от фразы к фразе.

Для русского и английского проведите такой же тест со своими трудными именами и числами. В русском, например, внимательно слушайте склонение числительных и ударения в фамилиях. Короткий тест не покажет монотонность, поэтому перед большим проектом прослушайте ещё и пару минут сплошного текста.

Когда живой голос лучше нейросети?

В рекламе голос становится частью бренда, а готовый голос из библиотеки может звучать и в чужих роликах.

Часть аудитории плохо реагирует, когда обнаруживает ИИ-голос там, где ждала человека. Честнее сразу сказать, что голос синтезирован, а решать, где он уместен, стоит в каждом случае отдельно.

Законно ли клонировать чужой голос?

Только с письменного согласия самого человека, полученного до первой записи. Это особенно важно, если голос принадлежит сотруднику или ведущему, который может уйти из компании. В согласии пропишите:

• какой сервис используется;
• для чего и в каких каналах будет звучать голос;
• на каких языках;
• на какой срок;
• можно ли использовать модель голоса повторно;
• как отозвать согласие и удалить модель.

Запись, по которой можно узнать человека, относится к персональным данным по Общему регламенту ЕС о защите данных (GDPR). Обращайтесь с образцами и моделями соответственно: доступ только у тех, кому он нужен, понятная цель и удаление, когда цель достигнута.

Прочитайте и условия самого сервиса: кому принадлежат модель и готовые записи и может ли сервис использовать ваши файлы в своих целях.

Отдельный вопрос касается маркировки. Регламент ЕС об искусственном интеллекте (AI Act) в ряде случаев требует сообщать, что аудио или видео созданы или изменены с помощью ИИ, в том числе когда речь о дипфейках. Платформы тоже всё чаще просят помечать синтетический контент. Перед публикацией проверьте, какие требования действуют сейчас.

Никогда не клонируйте голос известного человека, коллеги или клиента без их разрешения. Договор о согласии лучше составить с юристом: здесь только общие ориентиры.

Как записать чистый образец голоса для клонирования?

Сначала прочитайте инструкцию по записи у самого сервиса: требования к длине и формату у всех разные и со временем меняются. Общие правила подходят для любого инструмента:

1. Записывайтесь в тихой комнате с мягкими вещами, где нет эха.
2. Используйте один хороший микрофон и держите до него постоянное расстояние.
3. Читайте естественный, разнообразный текст на нужном языке и тем тоном, который должен быть у клона.
4. Не добавляйте музыку, эффекты и сильное шумоподавление.
5. Сохраняйте файл в WAV, моно, 48 кГц / 24 бит, если сервис не просит другого.
6. Если нужно несколько языков, запишите отдельный образец на каждом.
7. Храните исходные файлы вместе с подписанным согласием.

Модель перенимает всё, что слышит в образце, в том числе эхо, шум и обработку, и клон может воспроизводить их в готовой озвучке.

Как поставить микрофон и выставить уровень, подробно описано в статье о том, как записать голос для озвучки.

Ровный образец удобно получить на студийной сессии. В Baltic Podcast Studio в Риге можно записать живой голос на профессиональный микрофон, запись стоит 60 €/ч. Попросите отдать вам не только файл после мастеринга, но и необработанный. Сам клон вы затем создаёте в выбранном сервисе.

Как совместить живой голос и нейросеть?

Смешанная схема обычно выглядит так:

1. Самое важное для бренда записывайте живым голосом: рекламу, заставку, ключевое видео.
2. Храните чистые записи вместе с согласием.
3. Если для обновлений и второстепенных роликов вы берёте клон голоса, на который есть согласие, или готовый ИИ-голос, сохраняйте тот же стиль текста.
4. Каждый результат нейросети перед публикацией проверяет носитель языка.
5. Помечайте ИИ-голос там, где это требуется или где этого ждёт аудитория.
6. Когда ролик становится важным, перезаписывайте его живым голосом.

В Риге контент часто нужен сразу на латышском, русском и английском, и соблазн отдать все версии нейросети велик. Нейросеть для перевода видео с сохранением голоса подойдёт для черновиков, но каждую версию перед публикацией должен прослушать носитель языка: он услышит ошибки в произношении и интонации. Как перевести и озвучить видео, рассказано в отдельной статье.