News

Echte Objekte in Videos ohne 3D-Modell bewegen

Echte Objekte in Videos ohne 3D-Modell bewegen
Ein Algorithmus macht es möglich

Diese Entwicklung von Forschern des MIT „Computer Science and Artificial Intelligence Laboratory“ hat durchaus ihren Charme für alle, die sich mit Animation und 3D-Rendering beschäftigen. Ein konkretes Beispiel, welches auch im unten folgenden Video zu sehen sein wird: Ein per Video aufgenommener Busch mit Dutzenden Verästelungen und Tausenden Blättern wird durch das Ziehen mit der Maus ganz einfach in realitätsnahe Bewegung versetzt. Ohne 3D-Modell, ohne langwierige Entwicklung von „Busch-Bewegungsintelligenz“.

Was man dafür benötigt? Im Wesentlichen ein Stativ und eine Kamera. Wie das funktioniert? Besagter Busch wird über eine gewisse Zeit (hier eine Minute lang) aufgenommen, wobei es wichtig ist, dass er vibriert, was mit ein bisschen Wind relativ einfach zu erreichen sein sollte. Anschließend wird das Video automatisch analysiert und dem Objekt werden verschiedene „Vibration Modes“ zugeteilt. Werden nun noch die Formen und die Frequenzen dieser Modi ausgelesen, kann daraus abgeleitet werden, wie sich das Objekt in „neuen“ Situationen verhalten würde.

Die Erklärungen im zugehörigen Clip beginnen dabei mit einem Drahtmodell, welches für fünf Sekunden aufgenommen wird. Ein Schlag auf den Tisch und das Männlein gerät in Vibration – diese kurze Sequenz soll genügen, damit man es anschließend mit einem Mausziehen fröhlich bewegen kann (Minute 1:15 im Video).

Noch weiter geht es dann, wenn computeranimierte Charaktere mit „der echten Welt“ interagieren sollen (zu sehen ab Minute 3:09). Bei großen Animationsstudios mit ordentlich Budget kein Problem: In die reale Umgebung werden einfach weitere, virtuelle Elemente eingefügt, mit denen die Charaktere dann kollidieren und Dynamisches auslösen.

Mit der neuen Entwicklung sei es nun aber möglich, animierte Charaktere (im Video sind das mit Paint gezeichnete Figuren) direkt mit echten Elementen in Interaktion treten zu lassen. So hüpft beispielsweise ein Alien-Roboter auf eine Brücke, die dann entsprechend reagiert. Dieses und viele weitere Beispiele:
 


Hier geht es zur Projektseite von „Interactive Dynamic Video“. Das Verfahren wurde vom MIT patentiert und hat noch nicht den Weg in ein kommerzielles oder anderweitig zur Verfügung gestelltes Produkt gefunden.
 
Euer Jens

Bildquelle: Screenshots aus dem Video "Interactive Dynamic Video" von Abe Davis´s Research

Was sagst du dazu?

Teile deine Meinung oder Erfahrung mit anderen Mitgliedern und sichere dir jeweils 5 Punkte!

Weiter zu den Kommentaren

Ähnliche Artikel

Lernen wir bald alle nur noch über YouTube?

Lernen wir bald alle nur noch über YouTube?

Vor wenigen Tagen konnte ich auf Spiegel Online lesen, dass fast jeder zweite Schüler YouTube-Videos gezielt zum Lernen nutzt. Wow....

Weiterlesen

Natural Instincts – zurück zum Wesentlichen

Natural Instincts – zurück zum Wesentlichen

Auch 2019 präsentiert Adobe Stock die Trends des Jahres. Den Beginn machen die „Natural Instincts“. Lasst euch von emotional...

Weiterlesen

Logo-Trends 2018

Logo-Trends 2018

Farbverläufe, Serifen, Gold und zerschnittene Schriftzüge – der Logo-Trend-Report der LogoLounge steckt voller Inspiration. Mit...

Weiterlesen

Kommentare
Achtung: Du kannst den Inhalt erst nach dem Login kommentieren.
Portrait von bayerlw
  • 22.08.2016 - 14:23

Das Beispiel zeigt aus meiner Sicht, dass es auf das Objekt ankommt. Die Figuren wirken sehr realistisch.
Die Bäume wirken wie aus Plastik und ein wenig unnatürlich. Sicher wird es in diesem Bereich Entwicklungen geben, die wir nur annähernd erahnen können.

Portrait von lalelu44
  • 09.08.2016 - 16:03

IDV ist eine interessante Möglichkeit Videos zu pimpen und für den professionellen Videofilmer vielleicht eine tolle Sache. Für mich als Amateur- und Hobbyfilmer eher eine Nummer zu groß! ;-)

Portrait von LikeLowLight
  • 09.08.2016 - 06:44

Erstaunlich. Kommt mir wie ein Fake vor. Einerseits kann der Algorithmus tatsächlich Gegenstände identifizieren, andererseits, was noch mehr erstaunt, können anscheinend nicht sichtbare Teile nachgebildet werden, was schwer vorstellbar ist. Man sieht man der Anwendung Hintergrundteile, die bei den leichten Erschütterungen sicher nicht sichtbar sind, andererseits besonders beim Strauch Teile, die ebenfalls bei der Windbewegung nicht sichtbar waren. Im Video schaut das wirklich gut aus.

Portrait von tynick
  • 20.08.2016 - 18:45

Die Algorithmen für das was Adobe inhaltsbasiertes Füllen nennt, werden auch für Videos immer stärker. Am Ende sind es auch nur einzelne Bilder die verändert werden! https://www.shotroom.com/951/nx81j

x
×
×