Kleines Studio, großes Kino
Smart Virtual Production mit Unreal 5 für eine bessere Actor Experience
Größe spielt keine Rolle (mehr)
Als kleines Filmstudio sind die räumlichen Gegebenheiten und die finanziellen Mittel begrenzt. Virtual Production mildert das Problem, aber das Studio ist immer noch durch die Größe seiner Räumlichkeiten eingeschränkt, wenn es darum geht, Szenen zu drehen, bei denen die Schauspieler lange Wege zurücklegen müssen.
Gemeinsam mit dem Filmstudio Basel haben wir ein IoT-Gerät und Unreal Blueprints entwickelt. Mit diesen können Bewegungsinformationen eines Laufbands mit der Position der Kamera in Unreal 5 verknüpft und so die Illusion erzeugt werden, dass die Schauspieler*innen durch eine riesige Umgebung laufen. Durch die Überwindung der Einschränkungen des Studios ermöglichten wir Filmstudio Basel, große Filmproduktionen mit kleinem Budget zu realisieren.
Was ist Virtual Production?
Virtual Production ist eine Technologie, bei der LED-Panele oder Rückprojektionen als Kulisse für ein Filmset verwendet werden, auf denen Video- oder computergenerierte Bilder in Echtzeit angezeigt werden.
Auf diese Weise können die Studios eine Szene in jeder beliebigen Umgebung drehen, ohne dass die gesamte Crew vor Ort sein muss. Dies macht die Filmproduktion wesentlich kostengünstiger und nachhaltiger. Ein beeindruckendes Beispiel bietet Epic Games’ Tour ihres Virtual Sets „The Volume“, welches beim Dreh von The Mandalorian zum Einsatz kam.
Ein stromloses Laufband
Wir haben bereits in anderen Projekten erfolgreich mit Walkolution zusammengearbeitet. Das Unternehmen stellt motorlose Laufbänder her, die die perfekte Grundlage dafür sind, dass die Schauspieler*innen natürlich gehen können, ohne ihren Standort zu verändern. Das Hauptmerkmal des Laufbandes ist, dass es rein muskelbetrieben ist und auf diese Weise ein großes Problem löst, das wir schon früh erkannten: Ein herkömmliches elektronisches Laufband würde den Schauspieler*innen ihre Selbstbestimmung beim Bewegen rauben, da es mit einer festen Geschwindigkeit angetrieben wird.
Mit dem Walkolution-Laufband können die Schauspieler*innen entscheiden, wann sie beginnen und aufhören zu laufen, oder sich sogar in verschiedenen Geschwindigkeiten fortbewegen, was das schauspielerische Erlebnis, sprich die Actor Experience, enorm Verbessert.
Walkolution GmbH
Es war eine große Freude, wieder mit Centigrade zusammenzuarbeiten. Es war spannend unser Produkt einer so kreativen und experimentellen Umgebung zuzusetzen, und es gibt unserem Unternehmen die Möglichkeit, den Einsatzbereich des Walkolution weiter auszubauen.
Die Herausforderung: Das Laufband digitalisieren
Natürlich würde ein muskelbetriebenes Laufband nicht ausreichen. Die von Unreal 5 gerenderte virtuelle Szene musste sich perfekt synchron mit dem Schauspieler bewegen... und hier wurde es interessant. Zunächst bauten wir einen Sensor, um die Gehgeschwindigkeit der Schauspielenden zu messen. Dazu verwendeten wir ein klassisches Lego-Rad, das mit einem Rotationssensor verbunden war, der vom Walkolution angetrieben wurde.
Damit Unreal 5 mit dem Laufband kommunizieren kann, braucht es allerdings Eingabeparameter, die es auch versteht. Das Walkolution ist ab Werk zunächst nicht digitalisiert - was die starke Idee dahinter ist - aber wir brauchten trotzdem digitale Eingabedaten für die Game-Engine. Zu diesem Zweck haben wir den Sensor an einen Arduino Leonardo Mikrocontroller angeschlossen. Und da wurde es WIRKLICH interessant!
Ein Laufband als Gamecontroller
Achtung: Dies ist etwas für die Nerds unter uns.
Die Unreal-Engine muss die Ausgabe des Rotationssensors als Bewegungseingabe interpretieren, um die virtuelle
Kamera neu zu positionieren. Um dies zu lösen, emuliert der Mikrocontroller ein Xbox-Gamepad für Unreal 5.
Die Geschwindigkeitsinformationen des Laufbandes werden auf die Analogsticks des Gamepads abgebildet.
Um dies zu verdeutlichen: Langsames Gehen auf dem Laufband entspricht nun dem Drücken des Analogsticks
eines Gamepads leicht nach vorne, während schnelles Gehen dem Drücken des Sticks ganz nach oben entspricht.
Mit ein wenig Optimierungsarbeit ist es uns gelungen, die Bewegung des Laufbands in Echtzeit mit der Kamera
der Unreal Engine zu verbinden.
Synchronisation von realen und virtuellen Kameras mit nDisplay
Eine der Schlüsselkomponenten für dieses Projekt war die nDisplay-Technologie von Unreal.
Ihre Unterstützung für Virtual-Reality-Komponenten ermöglicht es uns, die physischen Kameras am Set mit den virtuellen
Kameras in der Engine zu synchronisieren.
Mithilfe von Motion-Tracking-Geräten wie der HTC Vive können wir die Bewegung und Ausrichtung der realen Kameras
verfolgen und diese Bewegung in der virtuellen Umgebung nachbilden. Das Ergebnis ist eine nahtlose Integration von
realem und virtuellem Filmmaterial, was zu einem immersiveren und glaubwürdigeren Endprodukt führt.
Ausblick: Verbesserung der Erfahrung von Schauspieler*innen
Die Befreiung von den Beschränkungen der Studiogröße ist an sich schon etwas, worüber sich kleine
Studios freuen werden. Aber die Vorteile und zukünftigen Möglichkeiten dieses Projekts gehen noch weiter.
In der traditionellen Welt müsste jeder visuelle Effekt, der mit der Aktion eines Schauspielers einhergehen
soll, in einem Nachbearbeitungsschritt manuell synchronisiert werden. Das kann fehleranfällig und schnell
teuer werden.Um den Nachbearbeitungsaufwand so gering wie möglich zu halten, müssen die Schauspieler*innen
selbst entscheiden können, wann welcher visuelle Effekt eingesetzt werden soll, da sie das beste Gefühl
für das Timing ihrer Aktionen haben.
Zurück zu unserem Setup: Was wäre, wenn Schauspielende mit ihren Füßen Ereignisse in der Szene auslösen könnte? Beispielsweise eine Explosion? Die Technologie, die wir in diesem Projekt mit dem Filmstudio Basel entwickelt haben, ist ein Schritt in diese Richtung. Wir halten Sie auf dem Laufenden!
European Star Cinema
Die Arbeit in einem kleinen Studio schränkt zwar die technischen Möglichkeiten ein, hält einen aber nicht davon ab, großartige Ideen zu entwickeln. Mit dem kreativen Ansatz von Centigrade waren wir in der Lage, eine Lösung für unsere räumlichen Beschränkungen zu entwickeln und das Erlebnis für unsere Schauspieler*innen zu verbessern. Das alles in nur zwei Tagen, während wir eine Menge Spaß hatten – Hackathon Style.
