В «VK Видео» улучшили распознавание речи

В «VK Видео» улучшили распознавание речи

Точность анализа и расшифровки выросла на 25%

Компания VK (бывшая Mail.ru Neighborhood) рассказала о вышедшем обновлении интеллектуальных функций платформы «VK Видео». Разработчики внедрили новые алгоритмы искусственного интеллекта для автоматического распознавания речи и синтеза субтитров в роликах, шоу, клипах и другом контенте.

В «VK Видео» улучшили распознавание речи
Сгенерировано нейросетью Dall-E

Точность анализа и расшифровки выросла на 25%, кроме того, нейросети теперь знают тысячи новых слов, включая мемы, имена собственные, акронимы и профессиональные термины.

В компании рассказали:

Автоматические субтитры генерируются с помощью Ml-моделей, которые создают текст и расставляют знаки препинания, синхронизируют их с видео. Для повышения точности аудиопоток проходит через несколько этапов обработки. Нейросеть отсеивает сторонние шумы, распознает речь и превращает её в текст. После чего подключаются модели пунктуации и денормализации, которые превращают набор из распознанных слов в удобный, читаемый текст. Потом ИИ синхронизирует получившийся текст с аудиодорожкой. Все это позволяет субтитрам быть понятными и удобными как в профессиональных роликах, так и любительских видео.

В ближайшее время нейросети научатся разделять речь разных спикеров на отдельные реплики, что упростит восприятие и чтение субтитров.

12 сентября 2024 в 17:19

Автор:

| Теги: VK, Mail.ru, ВКонтакте, Россия

| Источник: VK

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.