Нейромережа створена для анімації статичних частин на фото. Штучно створене відео розвивається з захоплюючою швидкістю, і нова модель розподілу простору-часу Lumiere від Google знову робить крок вперед.
Lumiere може створювати вражаюче реалістичні або високоякісні сюрреалістичні відеоролики довжиною до п’яти секунд. Мережа може анімувати нерухомі зображення або лише їхні частини відповідно до текстових вказівок. Ви просто можете обрати частину зображення, яка вам не подобається, і Lumiere автоматично заповнить цю область іншими об’єктами, які гармонічно впишуться в відео що ви навіть не помітите це.
Дослідницька група стверджує, що “архітектура просторово-часового U-net” Lumiere будує весь відеоряд одночасно, за один прохід – на відміну від попередніх моделей, які часто генерували початковий і кінцевий кадри, а потім намагалися вгадати, що відбудеться між ними. Незалежно від того, як це відбувається, результати говорять самі за себе – це новий рівень штучного інтелекту в генерації відео
Наразі це лише дослідницький проект, що звільняє Google від потреби агресивно обмежувати систему в службі авторських прав, боротьби з дезінформацією, забезпечення безпеки, боротьби з ненавистю, розголошення нудьги, приватності та всілякіх іншіх політик – які як правило, призводить до вихідних даних низької якості у генеративних моделях.
Джерело: Google Research
