Microsoft запатентовала ШИ-технологию для редактирования языка и мимики в реальном времени
Новая система позволит в режиме прямого эфира очищать речь от нецензурной лексики, корректировать ошибки и перерисовывать губы говорящего под нужный язык
Компания Microsoft подала патентную заявку на ШИ-технологию, которая в реальном времени редактирует то, что говорит человек в прямом видеоэфире, и одновременно перерисовывает его губы, чтобы изменение речи было незаметным для зрителя. Система способна изымать слова-паразиты, нецензурную лексику или оговорки, а также осуществлять синхронный перевод на язык зрителя без задержек и ожидания завершения трансляции.
Об этом сообщает издание Patentlyze. Согласно описанию в заявке, искусственный интеллект слушает аудиодорожку прямой трансляции и определяет слова, которые следует заменить, опираясь на профиль пользователя - его возраст, язык, которым он владеет, или место жительства. После этого другая генеративная модель в считанные секунды подбирает новые слова, переозвучивает и перерисовывает соответствующую часть видео, а короткие переходные кадры маскируют границы монтажа.
Патент описывает два отдельных варианта применения технологии:
-
Очистка речи от лишнего: система может убирать слова-паразиты, сленг, неразборчивые или неправильно произнесенные слова, оскорбительную лексику и фоновый шум, а также подменять реплику подтвержденными фактами, найденными в интернете.
-
Синхронный перевод: если собеседник говорит на языке, которого нет в профиле пользователя, система заменяет его слова переведенными и перерисовывает мимику губ так, чтобы она соответствовала новому языку.
Технология рассчитана на работу с очками дополненной реальности, смартфонами, планшетами и видеокамерами.
Отдельный пункт заявки предусматривает, что оригинальная запись будет сохраняться как "эталонная версия" - однако, как отмечает издание, это требование содержит лишь один из дополнительных пунктов патента, в то время как основная формула этого не требует. Первая экспертная проверка заявки завершилась отказом в том виде, в каком она была подана, что является привычной практикой и обычно предшествует внесению поправок.
Технология подменяет слова без отметки для зрителя
Ключевая проблема технологии – доверие зрителя к тому, что он видит. Основной пункт патента не содержит требования сообщать зрителю факт редактирования: только о сохранении оригинала упоминает один из дополнительных пунктов заявки, а не главная формула изобретения. Это означает, что теоретически система позволяет незаметно подменять не только речевые огрехи, но и содержание сказанного, включая "фактчекинг" на основе интернет-поиска.
По данным издания, это уже шестая заявка Microsoft в области редактирования изображений на основе искусственного интеллекта, которую оно отслеживает с июля, после патентов на технологии обучения нейросетям и очистке фотографий от лишних деталей.
Ранее Информатор сообщал, что сеть кофеен Starbucks рассматривает возможность внедрения ИИ для распознавания посетителей и подбора персонального меню сразу после их появления в заведении. Также мы писали, что сама Microsoft предложила около 60 тысяч сотрудников добровольно уйти из компании за компенсацию, чтобы направить высвободившиеся средства на развитие искусственного интеллекта.
Следите за нами в Telegram
Сейчас читают на Информаторе
