Modal Game

Vor kurzem hatten ich ein Studienfach zum Thema Modal games, das sind quasi eine Art Spiele, wo es nicht um ein konkretes Ziel geht, sondern eher draum, selbst ein Ziel zu finden und dann glücklich über das Ergebnis zu sein. Beispielsweise eine Sandkiste oder auch das berühmte Spiel “Minecraft”, die jeweils kein konkret aussprechbares Ziel haben. Die faszination liegt eher darin, dass man selbst entscheiden kann, was man gerne machen möchte. Aber warum macht das Spaß?

Nach längerem herumspielen und einigen Uni Einheiten über modal games, meine ich nun die Antriebskraft eines Modal Games ausdrücken zu können. Es geht um die Zufriedenstellung des Gehirns, wenn das vorhergesehene Muster, dass in dem Spiel erkannt wurde, der Wahrheit entspricht, und sich in die Realität überträgt. Ein gutes Beispiel dafür ist in der Sandkiste das Bauen einer Burg, wo die Zufriedenstellung demnach kommt, dass man sich zuallererst ein Modell einer Burg vorstellt und die nachgebaute Sandburg dem so nahe wie möglich kommt.

Allgemein gibt es wahrscheinlich für alles ein Modell in unserem Kopf. Eine Struktur, die sich unser Kopf ausgedacht hat, um Dinge genauer zu verstehen. Schon als kleines Kind fangen wir damit an, uns gewisse Handlungen/Eigenschaften im Kopft vorzustellen und dann müssen wir nur mehr ausprobieren, ob diese Theorie der Richtigkeit entsprochen hat. Somit kann man eigentlich das ganze Leben als ein Spiel betrachten, wo wir unterschiedliche Modelle in unsrem Kopf erstellen und prüfen, falls wir diese noch nicht kennen, oder verbessern müssen.

Die Idee hinter einem Krimi ist daher, dass man versucht, herauszufinden, wie die Struktur in dem Krimi ist, und wer sich auffällig als Mörder verhält beispielsweise. Wenn dieses System stimmt, dann erfüllt uns das mit Freude, wenn aber nicht, dann ist das ein Impuls, der unser Modell verändert, man als Mensch aber noch interessierter ist, diese neue Technik an weiteren Modellen auszuprobieren.

Es geht in einem Modal Game also um den Vergleich mit der im Kopf herrschenden “Realität” und den durch andere Sinne aufnehmbaren “realen”/vertrauenswürdigen Auswirkungen. Das beeinflusst “unsere Realität” und wie wir uns verhalten. Systemverändernde Aufgaben und Rätsel verändern also unsere Realität.

Verzerrungsverhalten

Wie man sich selbst gibt, spielt eine große Rolle in unserem Leben. Unterschiedliche Perönlichkeitsmerkmale sind ein guter Hinweis darauf, ob man beispielsweise einen Job bekommt oder nicht. Mittlerweile ist es auch nicht mehr schwer, herauszufinden, welche “Traits” zu mehr Erfolg führen und welche nicht so gern gesehen werden. Vor allem in der Arbeitswelt spielt das eine große Rolle. Hin und wieder, wenn man einen Persönlichkeitstest machen muss, dann schummelt man sich durch den Fragebogen, damit man eigentlich besser für den Job geeignet ist, als man eigentlich wäre. Diese Lügen hängen konkret mit dem Ziel zusammen, den Job zu bekommen, anstatt sich so echt wie möglich darzustellen. Das hängt auch mit dem Verlangen des Menschen zusammen, seine eigene Wirkung und Präsentation in einem “Social Setting” zu steuern.

“All communication involves deception to a certain degree (DePaulo, Kashy, Kirkendol, Wyer, & Epstein, 1996). Hogan (2005) argues that the proclivity to deceive is an evolutionary mechanism that helps humans gain access to life’s resources. Understanding socially desirable responding and response distortion in all communications thus requires going beyond its influence on criterion-related validity. Socially desirable responding is an inherent part of human nature, and viewed in that context, socially desirable responding is an important topic for our science.”

STEPHAN DILCHERT1, DENIZ S. ONES, CHOCKALINGAM VISWESVARAN & JÜRGEN DELLER : Response distortion in personality measurement:born to deceive, yet capable of providing valid self-assessments?, Psychology Science, Volume 48, 2006 (3), p. 209-225

Was ist real?

Im Allgemeinen stell ich mir die Frage, was man denn eigentlich wirklich als real bezeichnen kann. Wenn man nämlich genauer darüber nachdenkt, dann wird man feststellen, dass sehr viel, von dem man ausgehe, es sei real, eigentlich aus einem Buch stammt, dass vielleicht Bilder hatte, die man nun im Kopf hat. Aber wie weit unterscheidet sich das von einem Fakepost im Internet, wo man mit Photoshop und anderen Bildbearbetungsmethoden die Realität formt und verändert. Im Endeffekt gibt es nur einen Filter, ein Lehrer oder eine Lehrerin zum Beispiel, dessen Vertrauen man als Grundlage zum Sortieren zwischen falsch und richtig verwendet.

Heutzutage und im Zeitalter der Internets, wo Bezugspersonen wie Eltern oder LehrerInnen immer weniger Einfluss darauf haben, was man vor Gesicht bekommt, wie kann da eigentlich noch zwischen real und fiktiv unterscheiden? Das Problem ist mittlerweile präsenter als so einiger gerne hätte – Facebook hat schon unzählige Male versucht, sogenannte “Fake News” aus ihrem Feed zu entfernen, eben weil man immer schwieriger wird, herauszufinden, woher die Informationen eigentlich kommen.

Wahrnehmung

Ein Ansatz, die Realität einfach zu erklären, wäre einfach zu behaupten, dass Realität außerhalb des menschlichen Bewusstseins existiert und der Mensch kann nur einen Teil davon wahrnehmen. Sie ist daher richtig und kann nur interpretiert werden.

Es gibt aber Konstrukte, die das Bewusstsein des Menschen baut, um die Realität zu verstehen und für uns aber als real gilt. Ein Beispiel, dass ich in “Was ist Realität | Noris :https://www.youtube.com/watch?v=Wri4pcu8Bts [aufgerufen 18 Jän]” gefunden habe, sind Farben. Sie sind real, aber eigentlich nur ein Konstrukt, ein Mechanismus des Gehirns, um unterschiedliche Wellenlängen unterscheiden zu können. Für uns sind Farben aber eindeutig real.

Die Realität wird folgekessen von unserer Wahrnehmung verzerrt, konstruiert und definiert.

Heißt das nun aber auch, dass ich, wenn ich nur stark genug an etwas glaube, dass es dann real wird?

Es kommt ja auf die Wahrnehmung an, und diese ist eine Interpretation eines jeden selbst.

Enaktiver Realismus

Der Enaktive Realismus beschreibt den Zusammenhang bei einer interaktiven Oberfläche, einem Spiel beispielsweise, zwischen der in echt ausgeführte Bewegung und der Reaktion der dargestellten Inhalte im Spiel beispielsweise. Das Handeln wirkt sich in einer realistischen Weise auf die Oberfläche aus. Ein gutes Beispiel wäre, wenn man in einem Dialog durch eine bestimmte Handlung das virtuelle Gegenüber verärgert.

Dieses sogenannte Mapping, zwischen realen Bewegungen und der Auswirkung spielt eine große Rolle, inwieweit die Interaktion im Betrachter einer aufs echte Leben übertragbare Reaktion auswirkt.

External Realism

Der externe Realismus, nach Lin, bezieht sich auf die Übertragbarkeit des Gesehenen auf die reale Welt. Darunter fallen Punkte, inwieweit kann man sich in einen Charakter hineinversetzen, bis hin zu einer realistischen Darstellung von Effekten, wie Feuer, Rauch, Explosionen, Partikel, Wasser und noch vieles mehr. Je echter dabei der Detailheitsgrad ausgeprägt ist, umso “realistischer” ist auch die Darstellung. Die Glaubwürdigkeit steigt. Je mehr man diese Übertragbarkeit ausprägt, umso stärken sind die Reaktionen der Betrachter. Im Research von Lin kann beispielsweise oft herausgelesen werden, dass die Immersion und Identifikation stark erhöht werden. Die Relevanz für das reale Leben steigt daher zugleich, sodass die Reaktionen auf die dargestellten Inhalte mehr von echten Reaktionen ähneln. Lin schreibt auch von einer erhöhten Aggression bei dem Spielen von Ego-Shootern beispielsweise, kann aber in weiterer Folge durch weitere Research darauf schließen, dass es immer noch eine Barriere zwischen dem Dargestellten und dem Realen ist, da die Reaktionen ausschließlich auf das Spiel fokussieren und nicht auf die reale Welt.

Eine Schwierigkeit, die sich nun aber immer häufiger darstellt, ist, dass in den heuten Filmen und Spielen nicht mehr nur wirklich existierende Inhalte dargestellt werden, den Drachen Beispielsweise gibt es ja nicht. Trotzdem wird ein Modell erstellt, das so echt, wie nur möglich aussieht. Eine “richtige” Referenz dazu existiert natürlich nicht, daher leidet natürlich auch die Übertragbarkeit in das echte Leben darunter. Inwieweit die Übertragbarkeit und die dadurch entstehende Freude über dem Stauen über surreales steht, ist natürlich noch fraglich – in erster Linie handelt es sich aber um ein Paradox, das man nicht mehr mit “Realismus” alleine lösen kann.

black flat screen tv turned on displaying 11

Simulation

Unglaubliche Bilder und Stories in Spielen und Filmen sind keine Seltenheit mehr. Die technische Entwicklung ermöglicht es, real wirkende Bilder zu erschaffen, dessen Unterscheidung zu einem Foto kaum mehr möglich ist. Die Computer rendern so viele Simulationen, von Licht und Schatten, Motion Blur, Lichtbrechung, Temperaturen und daraus entstehende Winde, die so gut wie echt wirken. Die Effekte brauchen auch keine Ewigkeit mehr zur Berechnung und können zum Teil sogar schon auf einem Laptop erstellt werden.

Nicht nur das Bild per se hat sicher verbessert, sondern auch die Darstellung von Emotion besipielsweise, durch detailliertere Gesichtsausdrücke, oder Microbewegungen, die zuvor gar nicht in diesen Welten existierten, und Geschichten, die durch den Realismus nun glaubwürdig und fesselnd wirken können.

Auch ein Buch kann realistisch sein, wenn Elemente in einer sinnvollen Reihenfolge passieren und detailgetreu verbal dargestellt werden. Die Spiele und Filmindustrie verfügt nun auch über die richtigen Tools, Details und Folgen von Kleinigkeiten darzustellen, die dem Betrachter das Gefühl einer fast Lebensechten Abbildung geben.

Lin spricht in ihrem Research von 2 Arten von Realismus, auf die sie sich bezieht. Einem “Externen Realismus”, der die Übertragbarkeit eines Inhalts zwischen der Realität und dem Dargestellten darstellt. Es geht quasi um eine Einstufung inwieweit eine Situation in das Echte übersetzt werden kann. Der Externe Realismus kann zum beispiel in einem guten Film wieder gefunden werden, bei dem man sich gut einen Charakter hineinversetzen kann. Die Unterscheidung zwischen echt und “könnte echt sein” ist daher immer noch präsent.

Sollte es nicht gelingen, einen Charakter oder einen Effekt exakt richtig zu reproduzieren, so scheitert die Vorstellbarkeit. Dazu gibt es einen Grafen von Mashiro Mori, welcher in seinem Research herausfinden konnte, dass es bei einer asymmetrie zwischen Echt und virtuell ein loch, gibt, dass er uncanny valley nennt. Je ähnlicher etwas dem Realen kommt, umso stärker wird alles, das nicht ganz perfekt passt. Diese Unterschiede sind so irritierend, dass sie zum Teil als äußerst abstoßend wahrgenommen werden können. Ein Mensch beispielsweise, der eine nicht passende Bewegung zu einem unerwarteten Zeitpunkt ausführt, mutiert zu einem Zombie, oder einem Roboter. Die Menschlichkeit geht gänzlich verloren. Dieses Phänomen stellt sich als große Hürde vor eine extrem realistische Darstellung. Auch wenn jeder Frame realistisch dargestellt werden kann, heißt das noch nicht, dass diese Inhalte als realistisch wahrgenommen werden.

Die zweite Form ist der “enaktive Realismus” der die Interaktion mit einem Interface und den darauf dargestellten Inhalten beschreibt. Es geht um die Beziehung zwischen dem wikrlich Bewegten – beispielsweise durch die Verwendung eines Controllers – und den Auswirkungen im Dargestellten. Beispielsweise, wenn man auf einem Controller die Pfeiltaste nach oben klickt und sich infolgedessen nach vorne bewegt. Auch komplexere Inhalte wie die Reaktion anderer Elemente auf reale Handlungen spielen eine große Rolle, inwieweit sich der Betrachter als Teil des Dargestellten fühlt.

Beide Arten des Realismus spielen eine große Rolle in der Generierung von Vorstellbarkeit, Engagement und der emotionalen Reaktionen. In Lins Research wird von einer erhöhten emotionalen Reaktion geschrieben, die bei Spielern ausgelöst werden kann..

Lin, Jih-Hsuan Tammy. (2015). The Contributions of Perceived Graphic and Enactive Realism to Enjoyment and Engagement in Active Video Games. International Journal of Technology and Human Interaction. 11. 1-16. 10.4018/ijthi.2015070101

https://www.researchgate.net/publication/272801269_The_Contributions_of_Perceived_Graphic_and_Enactive_Realism_to_Enjoyment_and_Engagement_in_Active_Video_Games

Simulation vs sichtbare Ästhetik

Um diesen Blog zu starten, möchte ich zuerst mal das Thema erklären und meinen jetzigen Stand, mein Wissen und meine Fragen erläutern.

Der Titel “Simulation vs sichtbare Ästhetik” beinhaltet unterschiedliche Themen, die zum Teil sehr weitreichend sind. Da ich in diesem Rahmen unmöglich alle Aspekte abdecken kann, möchte ich mich speziell auf den Bereich ‘Art’, ‘Animation’, ‘Games’ und ‘Filme’ konzentrieren.

Auf der einen Seite steht die realistische Darstellung und das Verlangen, alles noch echter näher an der realen Welt wirken zu lassen. Die Kostüme, die Spezial Effects (VFX), die Charaktere, die Monster und so weiter. Ein Spiel beispielsweise soll nicht von einer echten Aufnahme unterschieden werden können und da ist wahrscheinlich noch nicht einmal die Grenze. Wenn man in Zukunft VR Brillen und Anzüge zum “tracken” von Bewegung und Gespür mit in diese Welt hinein ziehen, vielleicht ist es dann ja auch möglich, komplett mit dieser Simulation zu verschmelzen. Bereiche, die vor allem diesen Werdegang unterstützen sind unter anderem über Fotogrammmetrie eingescannte reale Objekte, wo über mehrere Fotos von einem realen Objekt, schnell und unheimlich genau ein 3D Modell erstellt werden kann, das nur mehr kaum bis gar nicht mehr vom Original zu unterschieden ist.

Zusätzlich natürlich auch Motion Capture, was im Allgemeinen in die gleiche Kategorie gegeben werden kann. Man zeichnet die Bewegung eines Körpers über eine Kamera auf, die anhand von Ankerpunkten die realistische und unheimlich filigrane Bewegung in die 3D Oberfläche übertragen kann. Die Körper sowie die Bewegung aus dem Realen genommen ermöglichen nun natürlich, sofern nicht von der Leistung des Computers eingeschränkt, eine komplett realistische Darstellung mit perfekten Elementen aus der Natur.

Solch ein Gedanke ist bis jetzt nur eine Vision, denn jene aufgenommenen ‘Assets’ sind extrem detailliert und brauchen viel zu viel Leistung. Real-time Engines, wie Unity oder Unreal versuchen daher, mithilfe von Tricks und Maschine-learning Details zu verlieren, ohne wirklich Details zu verlieren. Der Vorteil: alles kann in Echtzeit passieren. Spiele und mittlerweile auch schon einige Filme machen Gebrauch von Real-Time Engines, 3D Umgebungen, wo der finale Frame in millisekunden auf dem Bildschirm angezeigt werden kann. Im Vergleich dazu gibt es noch die Offline Render, wo Pixel mehrere Stunden bis Tage berechnet werden, um so realistisch wie möglich zu sein. Die Visuellen Unterschiede werden aber verschwindend gering.

Im Kontrast zu all jenem steht für mich die sichtbare ästhetische Darstellung, die Versucht, mit verschiedenen Stilmittlen unterschiedliche Emotionen hervorzurufen beziehungsweise zu verstärken. Oft mal gibt es auch bei dem Versuch einer realistischen Darstellung das Paradox, dass nicht realistische Inhalte in eine Reale Welt gezogen werden, wie Märchenwesen, Magier, Drachen und so weiter. Je ähnlicher, desto mehr werden die Unterschiede deutlich. Eine ästethische Darstellung hat dieses Problem aber nicht. Außerdem kann die Vorstellungskraft viel weiter ausgenutzt werden, wenn sich Inhalte mehr im kreativen und Abstrakten Bereich befinden, was möglicherweise zu einem noch tieferen Eintauchen in eine andere Welt beitragen könnte.


Fragen

Was macht einen realistischen Render aus? Ist realistisch am Bildschirm überhaupt möglich? Inwieweit spielt die Wahrnehmung und die Kultur eine Rolle, ob etwas als realistisch gesehen wird?

Was macht einen kreativen Render aus? Ist das Handwerk mehr Wert als die Vorstellbarkeit? Inwiweit kann eine kreative Welt einnehmend sein und in welcher Weise könnte sie einer realisitsch wirkenden Welt überlegen oder unterlegen sein?

Welche Schritte müssen im Realtime bis jetzt durch AI ersetzt werden, welche Teile können wirklich in Echtzeit berechnet werden?


Links

Realistisch vs Kreativ

https://www.thebubble.org.uk/lifestyle/gaming/the-absurdity-of-realism-in-video-games/ https://www.gamedeveloper.com/design/unrealistic-expectations-for-realism-in-games

https://link.springer.com/chapter/10.1007/978-3-540-28643-1_28

https://www.tandfonline.com/doi/abs/10.1080/18626033.2014.968412

https://www.jstor.org/stable/429652

https://books.google.at/books?hl=de&lr=&id=aPhjDAAAQBAJ&oi=fnd&pg=PP1&dq=realism+vs+abstraction&ots=CFcMjjnOuD&sig=k540UgM9FOEiWsbzgDafzl1uiJs&redir_esc=y#v=onepage&q=realism%20vs%20abstraction&f=false

https://link.springer.com/chapter/10.1007/978-3-642-59847-0_22

Realtime vs Offline Render

http://www.cgchannel.com/2010/10/cg-science-for-artists-part-1-real-time-and-offline-rendering/

http://digdok.bib.thm.de/volltexte/2020/5381/

https://dl.acm.org/doi/abs/10.1145/1037210.1037222?casa_token=j5Vif–RffYAAAAA:wnKuo8KL6fgurIx3jJKjQOLqJ6MnCD9F1F2vERHLEzyOeI7t2Qfm_A8HHCbtnpzHzsSbhWs9mRZdot0

https://www.sciencedirect.com/science/article/pii/S1474667017518315

Photogrammetrie und Laserscan

https://d1wqtxts1xzle7.cloudfront.net/30914662/ENGO431_F10_Course_outline-with-cover-page-v2.pdf?Expires=1634716489&Signature=c6-oURJ0NDmPLFmafDT8czHHIJ99zfeNXuipankB4j4g5qXSRV5e3s7VOTrBTWfGwYxTDPU0U2orIpe5UUigd13b5aujdP93dwOJOE-w0vd-uosaNivQ2mei3NYnVzZI~mMWCXjkVecXiRm8VEayxZhTQUULYBXLn85qOL1QZIWZgqXatfVVJUiviu~ztBpPlMvGQLFrV-f9lxvRZmVd3Dtk39Zg8rYHWOuvQsGt~ZcmcgEvGWHQ4KcOtA5jLneDlDHOk2pi~plhj6OrlZwiK3OJxBHvhgkvRe6ThxDem2URs5fxgye56GGf0~GXXDjpB1wQp2tmqPhKtGzXBSBOUg__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZA

https://link.springer.com/book/10.1007%2F978-3-540-92725-9

https://www.sciencedirect.com/science/article/pii/S0924271699000143?casa_token=VCq17Z_41vUAAAAA:0GnepMkaF1sIlGjOd_pe3vSW-sPOMRiM5YDx8iPIRXM-hrn5U8TzOUEoIbXQjpS4q-0G7a720Ebj

https://www.sciencedirect.com/science/article/pii/S0169555X12004217?casa_token=4xMcQO56kfMAAAAA:BC39s3wWvzPB7Li2OVAEKjxASw0CB5gdNHQVC7r4N_NCCM90hubq_WfC_9Dov30pma6Nh9lwMGZC

https://www.degruyter.com/document/doi/10.1515/9783110607253/html

https://journals.sagepub.com/doi/abs/10.1177/1555412018786415

Motion Capture

https://arxiv.org/abs/1712.01337

https://dl.acm.org/doi/pdf/10.1145/345370.345409

Weitere Struktur

Simulation
VFX
Motion Capture
Photogrammetrie
Lidar

Echtzeitgrafik
Idee einer Live Werbung

sichtbare Ästhetik

Enjoyment

Engangement

Was wenn digitale Welt die reale Welt beeinflusst? Dann real?

Response distortion in personality measurement: born to deceive, yet capable f providing valid self-assesments?: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.465.1748&rep=rep1&type=pdf