Microsoft запатентувала ШІ-технологію для редагування мови та міміки в реальному часі
Нова система дозволить у режимі прямого ефіру очищати мовлення від нецензурної лексики, коригувати помилки й перемальовувати губи мовця під потрібну мову
Компанія Microsoft подала патентну заявку на ШІ-технологію, яка в реальному часі редагує те, що говорить людина у прямому відеоефірі, та одночасно перемальовує її губи, щоб зміна мовлення була непомітною для глядача. Система здатна вилучати слова-паразити, нецензурну лексику чи обмовки, а також здійснювати синхронний переклад мовою глядача без затримок і чекання на завершення трансляції.
Про це повідомляє видання Patentlyze. Згідно з описом у заявці, штучний інтелект слухає аудіодоріжку прямої трансляції й визначає слова, які варто замінити, спираючись на профіль користувача - його вік, мови, якими він володіє, або місце проживання. Після цього інша генеративна модель за лічені секунди підбирає нові слова, переозвучує та перемальовує відповідну частину відео, а короткі перехідні кадри маскують межі монтажу.
Патент описує два окремі варіанти застосування технології:
-
Очищення мовлення від зайвого: система може прибирати слова-паразити, сленг, нерозбірливі чи неправильно вимовлені слова, образливу лексику та фоновий шум, а також підміняти репліку підтвердженими фактами, знайденими в інтернеті.
-
Синхронний переклад: якщо співрозмовник говорить мовою, якої немає у профілі користувача, система замінює його слова перекладеними й перемальовує міміку губ так, щоб вона відповідала новій мові.
Технологія розрахована на роботу з окулярами доповненої реальності, смартфонами, планшетами та відеокамерами.
Окремий пункт заявки передбачає, що оригінальний запис зберігатиметься як «еталонна версія» — проте, як зауважує видання, цю вимогу містить лише один із додаткових пунктів патенту, тоді як основна формула цього не вимагає. Перша експертна перевірка заявки завершилася відмовою в тому вигляді, у якому вона була подана, що є звичною практикою і зазвичай передує внесенню поправок.
Технологія підмінює слова без позначки для глядача
Ключова проблема технології - довіра глядача до того, що він бачить. Основний пункт патенту не містить вимоги повідомляти глядачеві про факт редагування: лише про збереження оригіналу згадує один із додаткових пунктів заявки, а не головна формула винаходу. Це означає, що теоретично система дозволяє непомітно підмінювати не лише мовні огріхи, а й зміст сказаного, включно з "фактчекінгом" на основі інтернет-пошуку.
За даними видання, це вже шоста заявка Microsoft у сфері редагування зображень на основі штучного інтелекту, яку воно відстежує з липня, після патентів на технології навчання нейромереж та очищення фотографій від зайвих деталей.
Раніше Інформатор повідомляв, що мережа кав'ярень Starbucks розглядає можливість впровадження ШІ для розпізнавання відвідувачів і підбору персонального меню одразу після їхньої появи в закладі. Також ми писали, що сама Microsoft запропонувала близько 60 тисяч співробітників добровільно піти з компанії за компенсацію, аби спрямувати вивільнені кошти на розвиток штучного інтелекту.
Слідкуйте за нами у Telegram
