ШІ навчився видаляти об'єкти з відео без порушення фізики
Вчені розробили ШІ, який вміє видаляти об'єкти з відео так, щоб сцена залишалася фізично правдоподібною. Це важливо, тому що звичайні інструменти часто створюють нереалістичні ефекти.
Йдеться про моделювання причинно-наслідкових зв'язків.
Деталі
Розробку представили дослідники з Netflix та їхні колеги.
Система отримала назву VOID (Video Object and Interaction Deletion).
На відміну від звичайних інструментів, вона:
- не просто "стирає" об'єкт
- враховує, як він впливав на навколишні елементи
- перебудовує поведінку всієї сцени
Наприклад:
- якщо видалити опору, об'єкт має впасти
- якщо прибрати елемент у ланцюжку доміно - падіння зупиниться
Аналіз показав:
- ШІ спочатку визначає зони, яких торкнеться зміна
- потім створює карту змін (включно з тінями та рухами)
- після цього генерує нову версію сцени
- на фінальному етапі уточнює рух і форму об'єктів
Система навчалася на тисячах симульованих сцен, щоб зрозуміти зв'язки "причина-наслідок".
Чому це важливо
Технологія вирішує одну з ключових проблем відеомонтажу.
Вчені відзначають:
- звичайні інструменти часто порушують фізику сцени
- це робить відео неприродним
- нова модель може підвищити якість кіно та візуальних ефектів
Також це відкриває можливості для:
- автоматичного редагування відео
- створення реалістичних сцен без перезйомок
Бекграунд
Раніше системи редагування відео працювали в основному з пікселями, а не з логікою того, що відбувається.
Це призводило до ситуацій, коли після видалення об'єкта сцена мала "зламаний" вигляд.
Джерело
Дослідження засноване на розробці моделі VOID для видалення об'єктів з урахуванням фізики взаємодій. Робота опублікована на сервері препринтів arXiv (2026).