Videos automatisch in 3D umwandeln

thomaskeil · 12.07.2011

Ich habe ein plugin programmiert mit dem sich 2D Videos automatisch in stereoskopische 3D Videos umwandeln lassen und wollte bei den Videoexperten mal nachfragen, wie Euch so etwas gefällt.
Die Umwandlung funktioniert durch voll- oder semiautomatische Generierung von Tiefenkarten je frame, rendern der Ansicht der zweiten Kamera und zusammen fügen zu stereoskopischen Ansichten (anaglyph, side by side, interlaced etc.)

Es ist als freeware verfügbar mit einem tutorial (

Bitte kostenlos registrieren, damit du die Links siehst.

) und Beispiele der Ergebnisse gibt es hier:

Bitte kostenlos registrieren, damit du die Links siehst.

Mich interessiert Eure Meinung da ich versuche, das tool laufend weiter zu verbessern.

Horst-Karsten · 12.07.2011

AW: Videos automatisch in 3D umwandeln

Schade, beim Anblick der Titelfotos Deiner Beispielfilme dachte ich schon an Videos in Kreuzblicktechnik d.h. ohne diese beknackte Brille, wurde dann aber gewahr das es leider "nur" wieder die rot/grün-Variante ist. Bei allem Respekt vor Deiner Arbeit aber für mich persönlich nichts neues und daher uninteressant.

Benoritos · 12.07.2011

AW: Videos automatisch in 3D umwandeln

Ist das die "schiel" technik ?
Also da finde ich kein gefallen dran.
Aber das ist doch mit dem Programm "make me 3D" auch umsetzbar.
Der hat alle fomarte, rot-cyan, shutter,nebeneinander (wie du), übereinander...!
Aber für mich kommt diese 3D art nicht in frage, und wenn ich deine videos anschaue bekomm ich nur kopfweh xD
lg

thomaskeil · 12.07.2011

AW: Videos automatisch in 3D umwandeln

gmbb schrieb:
....ohne diese beknackte Brille, wurde dann aber gewahr das es leider "nur" wieder die rot/grün-Variante ist. ...

Du brauchst keine Brille, das liegt nur daran wie der youtube-player bei Dir eingestellt ist. Klick mal auf das 3D Symbol dan kommen die verschiedenen 3D-Anzeigeoptionen, die youtube anbietet.
Das hat aber jetzt nicht wirklich mit der Umwandlung zu tun

Horst-Karsten · 12.07.2011

AW: Videos automatisch in 3D umwandeln

ahaaaa..na dann habe ich nichts gesagt

darkframe · 12.07.2011

AW: Videos automatisch in 3D umwandeln

Hi,

ohne den Filter bisher getestet zu haben: Gerade als Videofilter böte sich m.E. der Open Effects-Standard (OFX) an, weil der von einigen Programmen/Plugin-Spezialisten unterstützt wird, und da sind immerhin so namhafte dabei wie z.B. Nuke, BorisFX usw.

Mir widerstrebt irgendwie der Einsatz von Gimp, nicht, weil ich das Programm schlecht fände, ganz im Gegenteil, aber mir wäre es eben lieber, wenn man so einen Filter direkt im NLE einsetzen könnte, meinetwegen auch in Compositing-Programmen wie AfterEffects, gerade im Falle von Videos.

Ansonsten sieht das Ganze auf den ersten kurzen Blick recht gut aus.

JBKING · 12.07.2011

AW: Videos automatisch in 3D umwandeln

Ich frage mich nur wie man aus einem 2D Bild ohne zusätzliche infos eine zumindest annähernd realistische depth map rausrendern will ?

Wie arbeitet das tool denn ?

Mein Vorschlag wäre, zumindest wenn du im semiprofessionellenbereich erfolg haben willst anhand der tiefen unschärfe die depthmap zu generieren.

Ich frag mich echt warum es das noch nicht gibt mit professionellen dslr monitoren kann man sich ja auch den Schärfe peak anzeigen lassen, also muss es doch ein leichtes sein anhand dessen eine schärfe map zu generieren oder ?

vidiot · 12.07.2011

AW: Videos automatisch in 3D umwandeln

Ich finde es klasse.
Für die "Profis" hier mal die Verlautbarung das der Weg vieler heutiger 3D Filme im Kino eben über solche Filter erfolgte (Alice im Wunderland sei genannt).

Das geht mit Avisynth sogar in Echtzeit mit HD Material (bevor jetzt noch einer Premiere vorschlägt):

Bitte kostenlos registrieren, damit du die Links siehst.

In der c´t gab es schon vor über einem Jahr einen aufschlussreichen Artikel darüber.
Auch über hochqualitatives upscaling, das mit Profitools mithält.

Bitte kostenlos registrieren, damit du die Links siehst.

(Hier kann man das avs script herunterladen)
Der ausgenutzte Effekt ist der Pulfrich Effekt).

Bitte kostenlos registrieren, damit du die Links siehst.

Cheers
Vid

thomaskeil · 12.07.2011

AW: Videos automatisch in 3D umwandeln

@darkframe: Danke für die Anregung, ich schaue mir OFX mal an. Allerdings kann es gut sein, das mein Können hier überschritten wird, es ist ein Hobbyprojekt und ich bin mehr für das Entwickeln von Konzepten und Algorhytmen, vielleicht ergibt sich mal eine Möglichkeit mit einem anderen Hobby-Enthusiasten der gerne interfaces und GUI macht zusammen die Sache weiter zu betreiben. Das das Ganze auf den G´MIC und CIMG Bibliotheken aufsetzt und in der zugehörigen script-Sprache realisiert ist, sollte es zumindest recht einfach sein, es auch als command line tool für stand alone und wahrscheinlich auch unter cinepaint nutzbar zu machen, Deine weiteren anregungen muss ich wie gesagt erst mal überdenken, die Richtung finde ich aber gut.

@jbking: Genau das ist die alles entscheidende Frage, wenn die depth map erst mal steht ist das rausrendern und zu S3D-Darstellungen zusammen zu fügen bekanntes Handwerk.

Also wie komme ich zu depth map: Ich nutze ein breites Spektrum an monokopischen Tiefenhinweisen und versuche diese mit aus Tests gewonnenen Gewichtungskoeffizienten in die depth map einfließen zu lassen, so das sich für die meisten Szenen eine gute Tiefenentsprechung ergibt. Damit es auch in Problemfällen klappt, gibt es eine Vielzahl von Eingriffs- und Anpassungsmöglichkeiten.

Die Tiefenunschärfe ist einer der Faktoren, die bei der Erstellung der depth map berücksichtigt werden (sogar regelbar über die DOF-Einstellung). Es fließt in der Form in die Berechnung ein, das scharfe Bildteile in der Tendenz nach vorn gezogen werden.
Leider ist für S3D die Schärfe allein nicht ausreichend, es ist ein guter Indikator bei closeups mit unscharfem Hintergrund, aber gerade bei S3D bemüht man sich ja sehr oft, alles von vorn bis hinten scharf zu halten, weil dies das stereoskopische Seherlebnis verstärkt.
Bei einer Landschaftstotalen z.B. kommt man aber alleine über die Schärfe nicht sehr weit.
Deswegen verwende ich auch noch eine Reihe anderer Faktoren, die wichtigsten sind die Bildgeometrie(Horizonte, Fluchtlinien); die Farbverteilung, die Objektkonturen, Bewegungen etc.
Das vollautomatische Erstellen der depth map ist ein Prozess, den ich immer weiter zu verbessern versuche, in Testserien komme ich aber schon auf etwa 80-90% Erkennungsrate (d.h. ein Ergebnis das dem nahekommt, was auch ein menschlicher Bearbeiter als depth map malen würde). Und für jeden Tipp was man noch einbauen könnte bin ich immer dankbar

thomaskeil · 12.07.2011

AW: Videos automatisch in 3D umwandeln

@v*****: das kam jetzt schneller als ich antworten konnte: Das avisynth script kenne ich, es verschiebt allerdings das rechte Bild nur einen frame und verzerrt trapezförmig. Der Vorteil, es geht in Echtzeit, das kann ich ich nicht bieten. Aber ehrlich gesagt, eine qualitativ hochwertige Konversion ist das nicht, unter S3D Aspekten eher eine "Mogelpackung". Aber der Verfasser des avisynth scriptes selber ist da ja total offen und ehrlich, bei kommerziellen Produkten und auch bei konvertierten Kinofilmen wird viel getrickst, aber das verschweigt man gerne. Gute gibts es natürlich auch, aber die sind derzeit "handgemacht" (Bildteile als Texturen auf händisch generierte 3D Objekte gemappt)

JBKING · 14.07.2011

AW: Videos automatisch in 3D umwandeln

Achso, das hört sich gut an !
also ich hätte noch als anregung was:
Also wenn man sich das 3D Tracking anschaut, dann repräsentieren die Punkte ja die einzelnen Tiefenpunkte wie in der realität. Wenn man jetzt ganz viele Tracks hat, nichts bereinigt und keine Masken über bewegende objekte legt dann müsste doch das was rauskommt ein guter Anhaltspunkt sein um mit anderen von dir schon verwirklichten prozessen eine genaue depthmap zu generieren, oder ?
(Also ich denke mal es ist ziemlich schwer ein eigene 3D Tracking App zu programmieren aber es gibt ja auch open source wo man vllt etwas von abgucken kann)

Und wie genau funktioniert dein Plugin mit Videos

? Das ist doch für Gimp oder ?

thomaskeil · 14.07.2011

AW: Videos automatisch in 3D umwandeln

@jbking: Vielen Dank, das mit dem 3D tracking habe ich noch nicht ganz verstanden. Ich kenne das nur aus 3D-Programmen, bei denen man mit 3D Objekten im 3D Raum arbeitet, z.b. bei blender, Maya, C4D etc. Ich habe aber bei den frames nur zweidimensionale Bilddaten, da sehe ich nicht genau wie man das machen könnte. Du hast natürlich Recht, wenn man 3D Objekte in Video composen möchte (mit dem 2D footage als Hintergrund).

Das plugin ist für GIMP, richtig. Dort muss man mit dem GAP plugin das Video decodieren und als frames in GIMP einlesen. Dann wird in 3D konvertiert. Aus dem 3D frameset setze ich das Video dann wieder mit Virtuldub zusammen. Die Einstellungen zur 3D Umwandlung habe ich im tutorial etwas beschrieben.

JBKING · 14.07.2011

AW: Videos automatisch in 3D umwandeln

nein so meine ich das nicht

Natürlich ist der Sinn des 3D Trackings um eine virtuelle kamerabewegung aus der realen gefilmten kamerabewegung zu errechnen.

Ich weiß nicht ob du schonmal 3D Tracking genutzt hast aber beim export der Kaerabewegung wird eine "Punktewolke" exportiert. DIese Besteht aus punkten die Punkte im Tatsächlichen realen Raum entsprechen, also deren Tiefe stimmt mit punkten überein die auch in dem Video sind. Es werden allerdings nur wenige punkte der tatsächlichen einzelnen trackpunkte übergeben, also habe ich mir gedacht, wenn man mehr punkte exportiert hat man viele punkte im Raum verteilt die schon fast einer depth map entsprechen würde.
Am besten wäre es wenn man tatsächlich eine position map (ich weiß nicht ob du sowas von z.B. nuke kennst) exportieren könnte, aber da müsste der pc wohl ziemlich lange rechnen um jedem pixel eine position im Raum zuzuweisen.
War aber auch nur so eine idee

thomaskeil · 14.07.2011

AW: Videos automatisch in 3D umwandeln

Hallo jbking, also 3D tracking habe ich noch nicht gemacht aber Punktwolken bei Berechnungen schon eingesetzt, es sind ja im Prinzip 3D Koordinaten (jeder Punkt wird durch seinen x,y und z Wert im raum positioniert. Ich muss mir das Thema wirklich nochmal genauer zu Gemüte führen um zu sehen, ob ich in der Lage bin, Deine Anregung in den Filter einfließen zu lassen. Ideen sind immer gut, herzlichen Dank nochmal.

thomaskeil · 06.08.2011

AW: Videos automatisch in 3D umwandeln

Es ist nochmal ein update mit einigen Erweiterungen erschienen und online abrufbar.

Änderungen:

-bugfixes

-Unterstützung der Ausgabe von Full HD frame packing nach HDMI 1.4 Standard (1920 * 2205 frames). Momentan gibt es leider noch nicht viele freeware-encoder, die das Format unterstützen, aber das wird sicher bald kommen, wegen der hohen Qualität denke ich das Format hat eindeutig Zukunft.

-neue Funktionen für das editing: hineinfahren und herausfahren der Bildtiefe am Szenenanfang/ Szenenende. Mit diesem "depth cutting" lassen sich bei Schnitten abrupte Änderungen des Tiefeneindrucks vermeiden, die auch für unangenehme Empfindungen bei Betrachtern verantwortlich gemacht werden. Man kann die Szene am Ende sanft auf 2D verflachen und die Folgeszene ebenso sanft auf volle 3D Tiefe hochfahren.

-neue Funktionen für special effects: Eingabemöglichkeit für beliebige Benutzerdefinierte Codesequenzen, die direkt bei der S3D Konversion berücksichtigt werden. Sicher eher etwas für fortgeschrittene Anwender, aber die Möglichkeiten sind sehr vielseitig, colour grading, tonemapping, vintage looks, Bildverbesserungen etc. etc. Ein Vorteil ist das auch bei Anwendung vieler Filterfunktionen auf einmal der 32-bit floating point Arbeitsraum nicht verlassen wird, was eine maximale Bildqualität sichert.

Als "proof of concept" habe ich ein Video einer Dampflok hergenommen, die Bildtiefe ein- und ausgeblendet und das ganze mit einem Antiklook aus der Jahrhundertwende versehen:

Bitte kostenlos registrieren, damit du die Links siehst.

@jbking: Generierung von Punktwolken habe ich gecheckt, hat aber zu keinem Fortschritt geführt. Die depth maps lieferten immer angenehmere stereoskopische Darstellung als in Punktform generierte 3D Datensätze (wahrscheinlich weil die depth map leicht weichgezeichnet ist und keine so krassen Übergange hat wie die Punkte bezüglich des z-Wertes)

thomaskeil · 13.04.2012

AW: Videos automatisch in 3D umwandeln

Wieder ein neues update mit einer menge neuer Funktionen:

Verbesserter Tiefenerkennungs-Algorhitmus, verbesserte Geschwindigkeit, zusätzliche neue Ausgabeformate, automatische Szenenwechsel-Erkennung für die Umwandlung kompletter Filme etc. etc., im detail dokumentiert im tutorial: