Simulation

Unglaubliche Bilder und Stories in Spielen und Filmen sind keine Seltenheit mehr. Die technische Entwicklung ermöglicht es, real wirkende Bilder zu erschaffen, dessen Unterscheidung zu einem Foto kaum mehr möglich ist. Die Computer rendern so viele Simulationen, von Licht und Schatten, Motion Blur, Lichtbrechung, Temperaturen und daraus entstehende Winde, die so gut wie echt wirken. Die Effekte brauchen auch keine Ewigkeit mehr zur Berechnung und können zum Teil sogar schon auf einem Laptop erstellt werden.

Nicht nur das Bild per se hat sicher verbessert, sondern auch die Darstellung von Emotion besipielsweise, durch detailliertere Gesichtsausdrücke, oder Microbewegungen, die zuvor gar nicht in diesen Welten existierten, und Geschichten, die durch den Realismus nun glaubwürdig und fesselnd wirken können.

Auch ein Buch kann realistisch sein, wenn Elemente in einer sinnvollen Reihenfolge passieren und detailgetreu verbal dargestellt werden. Die Spiele und Filmindustrie verfügt nun auch über die richtigen Tools, Details und Folgen von Kleinigkeiten darzustellen, die dem Betrachter das Gefühl einer fast Lebensechten Abbildung geben.

Lin spricht in ihrem Research von 2 Arten von Realismus, auf die sie sich bezieht. Einem “Externen Realismus”, der die Übertragbarkeit eines Inhalts zwischen der Realität und dem Dargestellten darstellt. Es geht quasi um eine Einstufung inwieweit eine Situation in das Echte übersetzt werden kann. Der Externe Realismus kann zum beispiel in einem guten Film wieder gefunden werden, bei dem man sich gut einen Charakter hineinversetzen kann. Die Unterscheidung zwischen echt und “könnte echt sein” ist daher immer noch präsent.

Sollte es nicht gelingen, einen Charakter oder einen Effekt exakt richtig zu reproduzieren, so scheitert die Vorstellbarkeit. Dazu gibt es einen Grafen von Mashiro Mori, welcher in seinem Research herausfinden konnte, dass es bei einer asymmetrie zwischen Echt und virtuell ein loch, gibt, dass er uncanny valley nennt. Je ähnlicher etwas dem Realen kommt, umso stärker wird alles, das nicht ganz perfekt passt. Diese Unterschiede sind so irritierend, dass sie zum Teil als äußerst abstoßend wahrgenommen werden können. Ein Mensch beispielsweise, der eine nicht passende Bewegung zu einem unerwarteten Zeitpunkt ausführt, mutiert zu einem Zombie, oder einem Roboter. Die Menschlichkeit geht gänzlich verloren. Dieses Phänomen stellt sich als große Hürde vor eine extrem realistische Darstellung. Auch wenn jeder Frame realistisch dargestellt werden kann, heißt das noch nicht, dass diese Inhalte als realistisch wahrgenommen werden.

Die zweite Form ist der “enaktive Realismus” der die Interaktion mit einem Interface und den darauf dargestellten Inhalten beschreibt. Es geht um die Beziehung zwischen dem wikrlich Bewegten – beispielsweise durch die Verwendung eines Controllers – und den Auswirkungen im Dargestellten. Beispielsweise, wenn man auf einem Controller die Pfeiltaste nach oben klickt und sich infolgedessen nach vorne bewegt. Auch komplexere Inhalte wie die Reaktion anderer Elemente auf reale Handlungen spielen eine große Rolle, inwieweit sich der Betrachter als Teil des Dargestellten fühlt.

Beide Arten des Realismus spielen eine große Rolle in der Generierung von Vorstellbarkeit, Engagement und der emotionalen Reaktionen. In Lins Research wird von einer erhöhten emotionalen Reaktion geschrieben, die bei Spielern ausgelöst werden kann..

Lin, Jih-Hsuan Tammy. (2015). The Contributions of Perceived Graphic and Enactive Realism to Enjoyment and Engagement in Active Video Games. International Journal of Technology and Human Interaction. 11. 1-16. 10.4018/ijthi.2015070101

https://www.researchgate.net/publication/272801269_The_Contributions_of_Perceived_Graphic_and_Enactive_Realism_to_Enjoyment_and_Engagement_in_Active_Video_Games

Simulation vs sichtbare Ästhetik

Um diesen Blog zu starten, möchte ich zuerst mal das Thema erklären und meinen jetzigen Stand, mein Wissen und meine Fragen erläutern.

Der Titel “Simulation vs sichtbare Ästhetik” beinhaltet unterschiedliche Themen, die zum Teil sehr weitreichend sind. Da ich in diesem Rahmen unmöglich alle Aspekte abdecken kann, möchte ich mich speziell auf den Bereich ‘Art’, ‘Animation’, ‘Games’ und ‘Filme’ konzentrieren.

Auf der einen Seite steht die realistische Darstellung und das Verlangen, alles noch echter näher an der realen Welt wirken zu lassen. Die Kostüme, die Spezial Effects (VFX), die Charaktere, die Monster und so weiter. Ein Spiel beispielsweise soll nicht von einer echten Aufnahme unterschieden werden können und da ist wahrscheinlich noch nicht einmal die Grenze. Wenn man in Zukunft VR Brillen und Anzüge zum “tracken” von Bewegung und Gespür mit in diese Welt hinein ziehen, vielleicht ist es dann ja auch möglich, komplett mit dieser Simulation zu verschmelzen. Bereiche, die vor allem diesen Werdegang unterstützen sind unter anderem über Fotogrammmetrie eingescannte reale Objekte, wo über mehrere Fotos von einem realen Objekt, schnell und unheimlich genau ein 3D Modell erstellt werden kann, das nur mehr kaum bis gar nicht mehr vom Original zu unterschieden ist.

Zusätzlich natürlich auch Motion Capture, was im Allgemeinen in die gleiche Kategorie gegeben werden kann. Man zeichnet die Bewegung eines Körpers über eine Kamera auf, die anhand von Ankerpunkten die realistische und unheimlich filigrane Bewegung in die 3D Oberfläche übertragen kann. Die Körper sowie die Bewegung aus dem Realen genommen ermöglichen nun natürlich, sofern nicht von der Leistung des Computers eingeschränkt, eine komplett realistische Darstellung mit perfekten Elementen aus der Natur.

Solch ein Gedanke ist bis jetzt nur eine Vision, denn jene aufgenommenen ‘Assets’ sind extrem detailliert und brauchen viel zu viel Leistung. Real-time Engines, wie Unity oder Unreal versuchen daher, mithilfe von Tricks und Maschine-learning Details zu verlieren, ohne wirklich Details zu verlieren. Der Vorteil: alles kann in Echtzeit passieren. Spiele und mittlerweile auch schon einige Filme machen Gebrauch von Real-Time Engines, 3D Umgebungen, wo der finale Frame in millisekunden auf dem Bildschirm angezeigt werden kann. Im Vergleich dazu gibt es noch die Offline Render, wo Pixel mehrere Stunden bis Tage berechnet werden, um so realistisch wie möglich zu sein. Die Visuellen Unterschiede werden aber verschwindend gering.

Im Kontrast zu all jenem steht für mich die sichtbare ästhetische Darstellung, die Versucht, mit verschiedenen Stilmittlen unterschiedliche Emotionen hervorzurufen beziehungsweise zu verstärken. Oft mal gibt es auch bei dem Versuch einer realistischen Darstellung das Paradox, dass nicht realistische Inhalte in eine Reale Welt gezogen werden, wie Märchenwesen, Magier, Drachen und so weiter. Je ähnlicher, desto mehr werden die Unterschiede deutlich. Eine ästethische Darstellung hat dieses Problem aber nicht. Außerdem kann die Vorstellungskraft viel weiter ausgenutzt werden, wenn sich Inhalte mehr im kreativen und Abstrakten Bereich befinden, was möglicherweise zu einem noch tieferen Eintauchen in eine andere Welt beitragen könnte.


Fragen

Was macht einen realistischen Render aus? Ist realistisch am Bildschirm überhaupt möglich? Inwieweit spielt die Wahrnehmung und die Kultur eine Rolle, ob etwas als realistisch gesehen wird?

Was macht einen kreativen Render aus? Ist das Handwerk mehr Wert als die Vorstellbarkeit? Inwiweit kann eine kreative Welt einnehmend sein und in welcher Weise könnte sie einer realisitsch wirkenden Welt überlegen oder unterlegen sein?

Welche Schritte müssen im Realtime bis jetzt durch AI ersetzt werden, welche Teile können wirklich in Echtzeit berechnet werden?


Links

Realistisch vs Kreativ

https://www.thebubble.org.uk/lifestyle/gaming/the-absurdity-of-realism-in-video-games/ https://www.gamedeveloper.com/design/unrealistic-expectations-for-realism-in-games

https://link.springer.com/chapter/10.1007/978-3-540-28643-1_28

https://www.tandfonline.com/doi/abs/10.1080/18626033.2014.968412

https://www.jstor.org/stable/429652

https://books.google.at/books?hl=de&lr=&id=aPhjDAAAQBAJ&oi=fnd&pg=PP1&dq=realism+vs+abstraction&ots=CFcMjjnOuD&sig=k540UgM9FOEiWsbzgDafzl1uiJs&redir_esc=y#v=onepage&q=realism%20vs%20abstraction&f=false

https://link.springer.com/chapter/10.1007/978-3-642-59847-0_22

Realtime vs Offline Render

http://www.cgchannel.com/2010/10/cg-science-for-artists-part-1-real-time-and-offline-rendering/

http://digdok.bib.thm.de/volltexte/2020/5381/

https://dl.acm.org/doi/abs/10.1145/1037210.1037222?casa_token=j5Vif–RffYAAAAA:wnKuo8KL6fgurIx3jJKjQOLqJ6MnCD9F1F2vERHLEzyOeI7t2Qfm_A8HHCbtnpzHzsSbhWs9mRZdot0

https://www.sciencedirect.com/science/article/pii/S1474667017518315

Photogrammetrie und Laserscan

https://d1wqtxts1xzle7.cloudfront.net/30914662/ENGO431_F10_Course_outline-with-cover-page-v2.pdf?Expires=1634716489&Signature=c6-oURJ0NDmPLFmafDT8czHHIJ99zfeNXuipankB4j4g5qXSRV5e3s7VOTrBTWfGwYxTDPU0U2orIpe5UUigd13b5aujdP93dwOJOE-w0vd-uosaNivQ2mei3NYnVzZI~mMWCXjkVecXiRm8VEayxZhTQUULYBXLn85qOL1QZIWZgqXatfVVJUiviu~ztBpPlMvGQLFrV-f9lxvRZmVd3Dtk39Zg8rYHWOuvQsGt~ZcmcgEvGWHQ4KcOtA5jLneDlDHOk2pi~plhj6OrlZwiK3OJxBHvhgkvRe6ThxDem2URs5fxgye56GGf0~GXXDjpB1wQp2tmqPhKtGzXBSBOUg__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZA

https://link.springer.com/book/10.1007%2F978-3-540-92725-9

https://www.sciencedirect.com/science/article/pii/S0924271699000143?casa_token=VCq17Z_41vUAAAAA:0GnepMkaF1sIlGjOd_pe3vSW-sPOMRiM5YDx8iPIRXM-hrn5U8TzOUEoIbXQjpS4q-0G7a720Ebj

https://www.sciencedirect.com/science/article/pii/S0169555X12004217?casa_token=4xMcQO56kfMAAAAA:BC39s3wWvzPB7Li2OVAEKjxASw0CB5gdNHQVC7r4N_NCCM90hubq_WfC_9Dov30pma6Nh9lwMGZC

https://www.degruyter.com/document/doi/10.1515/9783110607253/html

https://journals.sagepub.com/doi/abs/10.1177/1555412018786415

Motion Capture

https://arxiv.org/abs/1712.01337

https://dl.acm.org/doi/pdf/10.1145/345370.345409

Weitere Struktur

Simulation
VFX
Motion Capture
Photogrammetrie
Lidar

Echtzeitgrafik
Idee einer Live Werbung

sichtbare Ästhetik

Enjoyment

Engangement

Was wenn digitale Welt die reale Welt beeinflusst? Dann real?

Response distortion in personality measurement: born to deceive, yet capable f providing valid self-assesments?: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.465.1748&rep=rep1&type=pdf