Как филмовото студио Laika и Intel революционизират стоп-анимация с AI

Известното студио зад „Missing Link“ и „Coraline“ си сътрудничи с Intel за създаване на инструмент за изкуствен интелект, който може да бъде голям скок в анимацията със стоп-движение.

Как филмовото студио Laika и Intel революционизират стоп-анимация с AI

През последните 15 години студиото за производство на филми Laika е пионер в анимацията, като безпроблемно съчетава тактическата артистичност на stop-motion с технологичния напредък, включително CGI и 3D печат.



Сега базираното в Орегон студио е в челните редици на нов скок, като включи AI в създаването на своите филми.

По време на производството на номинирания за Оскар филм Липсваща връзка , екипите за технология и визуални ефекти разработиха прототип на AI инструмент в сътрудничество с Intel.



Проблемът за решаване: линии.



Куклите, използвани във филмите на Лайка, имат широк спектър от изражения на лицето, създадени масово чрез 3D печат. В Липсваща връзка само над 106 000 лица са отпечатани на парчета (т.е. долната и горната част на лицето). Това е полезен процес за контролиране на движението на лицето на герой, но също така създава видим шев, който показва къде се свързват различните долни и горни части.

Това беше огромно предизвикателство, защото когато отивате на кино и гледате изпълнения на герои, гледате лицата на героите, казва Стив Емерсън, ръководител на визуални ефекти в Laika. Гледате очите им и точно там щяхме да вършим тази козметична работа.

Емерсън се присъединява към Laika преди 12 години за производството на Коралин , и на този филм и оттогава екипът му разчита на много ръчния процес на RotoPainting.



[Снимка: с любезното съдействие на Laika]

Подобно на Photoshop, RotoPainting включва изолиране и премахване на нежелани елементи от сцена, като куклени платформи или линии на шевове. Макар и ефективен, той отнема и невероятно много време.

Искаме да се опитаме да дадем на аниматорите толкова свобода, за да създадат естествено представяне на сцената, казва Джеф Стрингер, директор на производствените технологии в Laika. Това означава, че трябва да използваме много платформи. 3D отпечатването на лицата е свързано с това да им се даде естествено представяне, което не бихте могли да направите с механичното лице. Така че с почти всяко едно от тези нововъведения във филмопроизводството ни идва цена за екипа на Roto.



На Липсваща връзка например във филма имаше 136 800 кадъра. С ръчното RotoPainting ще отнеме един ден, за да почистите около 50 кадъра.

Имате много страхотни инструменти за проследяване на части от рамката и рисуване на нещата, но все още е кадър по кадър, казва Stringer. Така че това е едно от нещата, които просто се молеха за ускорение.

С прототипа на AI на Laika и Intel, те успяха да свалят това с 50%.

Първоначалното тестване е направено на Липсваща връзка характер на Лайънъл (Хю Джакман) и има доста солиден процент на успех: От 50-те кадъра, които обработиха, за да премахнат линиите на шева, 35 се върнаха, които бяха използваеми или се нуждаеха само от незначителни корекции. Въпреки че наборът от инструменти за изкуствен интелект не беше използван в крайната версия на филма, Stringer казва, че те продължават да тестват върху различни герои, за да създадат стабилен набор от данни за машинно обучение с надеждата да го използват за следващия филм на студиото.

Те също така проучват по -широките случаи на използване на AI в RotoPainting, за да премахнат повече от линиите на шевовете (например куклени платформи).

Ако това в крайна сметка е успешно, вероятно ще завършим с персонал по учен за данни от персонала, който работи с ранни набори от данни от всички герои - и изграждайки тези модели на обучение, казва Стрингер.

Макар и иновативно и спестяващо време, използването на изкуствен интелект в филмите за стоп-движение може да разтърси пуристите от формата на изкуството. Лайка не е непознат в използването на технологии, но напредъкът им в ИИ ги отдалечава от специфичната артистичност на стоп-движението?

За Емерсън всичко се свежда до това, което служи най -добре на историята.

[Снимка: с любезното съдействие на Laika]

Ще ви дам пример, експлозия с купчина дим, казва той. Ако искате да анимирате дима една рамка в даден момент, ще трябва да излезете и да вземете някакъв материал като памучни топки. Ако сте член на публиката, който гледа филм и има експлозия и това е куп памучни топки, ще изглежда наистина готино. И е забавно. Повярвайте ми, аз обичам този тип снимане. Но ще има част от секундата, в която това ще ви извади от него. И ще разберете, че това не е дим - това са памучни топки.

Емерсън подчертава, че аниматорите се опитват да направят възможно най-много в камерата с платформи и комплекти. Но те не се страхуват да преследват цифрови решения, ако е необходимо, включително AI. Крайната цел с нещо като техния прототип да ускори RotoPainting е да отдели по -малко време за дреболиите и повече време за измисляне как най -добре да представи историята.

Има два вида работа, която правим тук във визуални ефекти: Има обективна работа и има субективна работа. Обективната работа е, че има някаква луда платформа в кадъра, която трябва да изчезне. Има линия, която минава по лицето на куклата, която трябва да бъде премахната, казва Емерсън. Субективната страна на това е, красива ли е рамката? Вълнуващо ли е? Прилича ли на нещо, което съм виждал досега? Така че много от това, което преследваме тук, е способността да можем да преминем през обективните неща. Надяваме се, че можем да използваме ИИ и машинното обучение, за да ни помогнем, а след това можем да се съсредоточим повече върху субективното и наистина да се опитаме да направим тези изображения да изглеждат като нищо, което някой е виждал досега със стоп-движещи се филми.