Wie KI-Technologie der ETH die Feuerwesen im aktuellen Pixar-Kinofilm belebt
Heute kommt der neuste Animationsfilm ?Elemental? aus den Walt Disney Studios und dem Pixar Animation Studio in die Schweizer Kinos. Der Film dreht sich um die feurige Ember, die in Element City lebt ¨C einem Ort, wo Feuer-, Wasser-, Erd- und Luftwesen leben. In dem Film steckt nicht nur Hollywood drin, sondern auch ETH-Technologie.
Die Hauptfigur Ember ist ein feuriges Elementarwesen, dessen Kopf aus Flammen besteht, die sich st?ndig bewegen. Diese Feuerflammen und Hitzestr?mungen realistisch nachzuzeichnen, stellte die Animationsfilmer:innen vor eine grosse Herausforderung, wie unl?ngst das externe SeiteTech-Magazin Wired berichtete ¨C mit der ETH-Technologie kamen sie schliesslich zu einer L?sung, welche die Flammenstruktur in Embers Gesicht derart ausgepr?gt erscheinen l?sst, wie das mit den bisherigen Simulationstechnologien nicht m?glich war.
?Unsere Technologie gibt den Flammen einen einzigartigen Stil, und ist somit ein Werkzeug f¨¹r K¨¹nstler:innen, um eine Story visuell zu unterst¨¹tzen?, sagt von Barbara Solenthaler, ETH-Professorin f¨¹r Computergraphik und Leiterin der Simulations- and Animations-Gruppe. Unter ihrer Leitung wurde die neue Technologie 2019/2020 im Computer Graphics Lab der ETH Z¨¹rich entwickelt.
Bilder ¨¹bertragen, um Story zu unterst¨¹tzen
Die neue 3D-Simulationstechnologie verwendet k¨¹nstliche Intelligenz und erm?glicht die k¨¹nstlerische Kontrolle ¨¹ber das Aussehen und die Strukturen von Rauch, Feuer oder Fl¨¹ssigkeiten. Mit Hilfe dieser KI lassen sich zum Beispiel Rauchwolken gezielt f¨¹r visuelles Storytelling einsetzen. Die ETH-Technologie kann n?mlich Flammen, Rauchwolken oder Fl¨¹ssigkeiten k¨¹nstlerisch so ver?ndern, dass sie die Geschichte unterst¨¹tzen.
Die Technologie steuert dabei nicht die ?ussere Form, sondern die lokalen Strukturen im Rauch. Sie kann zum Beispiel ein Spiralmuster auf die Rauchwolke rechnen. Sie kann genauso gut den Stil von Van Goghs Bild ?Sternennacht? auf den Rauch ¨¹bertragen. ?Unsere Technologie kann die Struktur eines x-beliebigen Input-Bildes auf Rauch, Flammen oder auch Fl¨¹ssigkeiten ¨¹bertragen?, sagt Barbara Solenthaler. Sehr sch?n sind hasenartige Wolkenformation in einem Video aus Solenthalers Gruppe zu sehen. In einem anderen, ebenfalls sehenswerten externe SeiteVideo zeigt Solenthalers Team, wie es Str?mungs-, Feuer- und Rauchph?nomene zugleich k¨¹nstlerisch sowie nat¨¹rlich darstellen kann.
Sogleich Disneys Interesse geweckt
Die KI-basierte 3D-Simulationstechnologie stiess schon kurz, nachdem die ETH-Forschenden sie publiziert hatten, bei den Walt Disney Studios auf grosses Interesse. ?Die Technologie entstand an der ETH und der Code dazu ist open source verf¨¹gbar?, sagt Barbara Solenthaler, ?wir haben danach mit Hilfe von Disney Research Studios in Z¨¹rich die Technologie in die Pipelines der Disney Animation Studios und des Pixar Animation Studio transferiert.?
Bereits 2021 kam die ETH-Technologie in dem computeranimierten Fantasyfilm ?Raya und der letzte Drache? zum ersten Mal zum Einsatz ¨C in einer online publizierten externe SeiteSzene, in der sich kreisartig ausstr?mende Rauchformationen aus einer Ruine heraus ausbreiten. ?Der Effekt im Raya-Film basierte auf unserer ETH-Publikation. F¨¹r den aktuell in den Schweizer Kinos laufenden Pixar-Film Elemental hat Disney Research Studios in Z¨¹rich die Technologie weiterentwickelt und f¨¹r den Haupt-Charakter Ember verwendet?, sagt Solenthaler.
Eine Technologie f¨¹r die Hauptfigur
Konkret geht es in Elemental darum, dass die Hauptfigur Ember ein Feuerwesen ist, dessen Gesicht st?ndig in flammenartiger Bewegung ist. Die neue ETH-Technologie erm?glichte es nun, dass eine zun?chst k¨¹nstlerisch erstellte Flammenstruktur auf Embers Erscheinung zu ¨¹bertragen, und zwar so dass das Feuer und die Flammen auf Embers K?rper ?usserst naturgetreu aussehen. Die ETH-Technologie trug ihren Teil dazu bei, um Ember und die anderen Feuerwesen, die Element City bev?lkern, regelrecht ?zum Leben bringen?, wie das die externe SeiteWalt Disney Studios k¨¹rzlich w¨¹rdigten.
In die finale Ausarbeitung dieser Effekte waren die ETH-Forschenden nicht mehr involviert, diese wurden externe Seitevon Disney Research Studios und Pixar Animation Studio selbst vollendet. Wie Embers Flammenkopf mit der neuen Technologie im Film animiert wurde, ist mittlerweile auch externe Seitedokumentiert. ?Wenn ich sehe, wie faszinierend die Effekte in Elemental und speziell bei Ember herausgekommen sind, dann bin ich begeistert, dass unsere Forschung daf¨¹r der Ausgangspunkt ist?, sagt Solenthaler.
Literaturhinweise
Tang, J, Kim, B, Azevedo, VC, Solenthaler, B. Physics-Informed Neural Corrector for Deformation-based Fluid Control. COMPUTER GRAPHICS forum Volume 42 (2023), Number 2. externe SeiteMit Video.
Kim, B, Azevedo, VC, Gross, M, Solenthaler, B. Lagrangian Neural Style Transfer for Fluids. Proceedings of ACM SIGGRAPH (Washington, D.C., US, July 19-23, 2020), ACM Transactions on Graphics, vol. 39, no. 4, pp. 1:1-1:10. Mit Video.
Kim, B, Azevedo, VC, Gross, M, Solenthaler, B. Transport-Based Neural Style Transfer for Smoke Simulations. Proceedings of ACM SIGGRAPH Asia (Brisbane, Australia, November 17-20, 2019), ACM Transactions on Graphics, vol. 38, no. 6, pp. 188:1-188:11. Mit Video.
Weitere Informationen
- ETH Zurich Simulations and Animations Group
- ETH Zurich Computer Graphics Lab
- externe Seite Walt Disney Research Studios