Author: Florian Schaubmaier

Sound

Sounddesign

-2 Gruppen

A:

Stein Rot

Krähen

Leuchtkugel

Gruppe A hat die Grundtonart A-moll und ist ein 3:33 Loop bestehend aus einem Synthesizer-Layer (Melodie), einem Chor ( Drone) und einem FX/Earcandy-Layer. Für die Erstellung der Melodie wurden zwei Synthesizer (Jupiter X & Moog Sub37) mit Ableton als Sequencer verwendet, wobei der Jupiter X die Melodiesequenz und der Sub 37 einen harmonischen Bass-Layer liefert. Der Chor wurde mit der Kontakt Library Spitfire Albion: Solstice erstellt. Wobei die Stimmen in 4 Kategorien nach Tonhöhe eingeteilt und respektiv darauf räumlich angeordnet wurden. Der FX-Layer besteht hauptsächlich aus Sounds, die mit Küchenutensilien aufgenommen und mithilfe verschiedener AudioFX Units intensiv bearbeitet worden sind. 

B:

Stein Blau

Schmetterlinge

Trommel

Gruppe B hat die Grundtonart G#-Dur und ist ebenfalls ein 3:33 Loop bestehend aus 3 Stems. Dieser Loop hat mehr Songcharakter, es wurde jedoch darauf geachtet, dass auch jedes Element einzeln seine Daseinesberechtigung behält. Der erste Layer (Melodie) besteht hauptsächlich aus einem Arp und einem Basslayer. Layer Zwei (Drums) ist ein gesampelter Breakbeat der aufgeschnitten, neu arrangiert und dem zusätzliche Elemente hinzugefügt wurden. Der dritte Layer (Drone) ist etwas unauffälliger und wurde mit der Bläser-Section von Spitfire Albion: Solstice verwirklicht.

Schwarm

Die Bewegung des Schwarms kann manipuliert und kontrolliert werden. Über ein Script kann im Unity Editor eine Sphäre bestimmt werden, in deren Grenzen sich der Schwarm frei nach den zuvor erwähnten Schwarmregeln bewegt. 

Die Bewegung des Schwarms konzentriert sich um ein unsichtbares Zentrum herum, dem Waypoint. Drückt der:die Spieler:in den B-Knopf, wird der Waypoint auf die gegenwärtige Position der:die Spieler:in gesetzt und der Schwarm folgt.

Um ein Soundobjekt zu platzieren, das dem Schwarm folgt, wurde zuerst die Mitte aller schwarm-zugehörigen Objekte ermittelt und anschließend ein neues Objekt auf diese mittlere Position gesetzt. Das Objekt ist über den Eventemitter mit FmodStudio verknüpft und lädt einen Loop, der in entsprechender Entfernung zu dem Objekt hörbar ist. Durch Versuche wurde die Entscheidung getroffen, dem Schwarm keine direkte Richtung im Raum zu geben, sondern er wurde breiter auf den Kopfhörern verteilt. Somit hebt er sich etwas von den Krähen Sounds, die wiederum  eine Richtung besitzen und sich weiter im Raum verteilen, ab.

Der erste Schwarm, die Krähen, hat zwei verschiedene Layer. Die Krähensounds wurden aus verschiedenen Quellen bezogen und einzelne Krächzer herausgeschnitten und restauriert, sodass nur noch der reine Krähensound präsent ist. Der zweite Layer, der nur auf sehr kurze Distant hörbar ist, besteht aus 5 verschiedenen Flügelschlägen, bei denen der Pitch auf +- 4 Pt. randomisiert wurde.

Die Schmetterlinge wurden ähnlich gestaltet. Sie bestehen aus einem Flügelschlag-Layer und einem SFX. Da Schmetterlinge ja eigentlich für den Menschen kaum hörbare Geräusche machen, wurde hier etwas mehr kreativer Spielraum gelassen.

Umgebungs-Sounddesign

Für das Umgebungs-Sounddesign wurden hauptsächlich Atmos und Fieldrecordings aus eigenen und verschiedenen dritten Quellen verwendet. Grundsätzlich können die Umgebungs-Sounds in drei, sich leicht überschneidende Layer unterteilt werden:

1. Boden:

Der Boden ist der komplexeste Layer. Seine Basis bildet eine 3:33 lange Kuration aus Aufnahmen von Morgen, Mittag, Abend und Nacht. Wichtig, und auch am herausforderndsten, waren hier Aufnahmen zu finden, die keine Insektengeräusche oder rauschende Blätter beinhalten, da diese als eigene Layer eingesetzt wurden. Um eine höhere Immersion zu erzielen, befindet sich in Bodennähe noch ein dritter Schwarm, der gleichmäßig, mit minimaler Bewegung über die Ebene verteilt ist. So hört der:die Spieler:in die Atmosphäre diffus, die Insekten haben aber eine feste Position im Raum. Die Waldatmosphären sind ebenfalls ein eigener Layer und grenzen sich im Raum voneinander ab.

2. Luft:

Der Luftlayer besteht aus einer einfachen Windsequenz die sich mit dem Boden-Layer über etwas überschneidet.

3. Höhen:

Der Höhenlayer ist eine stärkere Windsequenz

Controller

Ist der Controller im Run-Modus, aktiviert ein Script Fußstapfen, sobald der:die Spieler:in den Joystick beweget und der Controller sich auf dem Boden befindet. Da über die update() Funktion das Event des Fußstapfensounds jeden Frame an Fmod gesendet und ausgeführt wird, wurde hier ein Timer hinzugefügt, der alle 0,3 Sekunden das Event sendet.

Dasselbe passiert Im Fly-Modus, nur mit einem Flügelschlag Sound und ohne der Bodenkondition. Wenn der:die Spieler:in in der Luft anhält, wird eine ähnliche, nur langsamere Sequenz abgespielt. Zusätzlich kommt ein Wind-Layer hinzu, sobald der Controller in der Luft ist.

Spielkomponenten

Spielkonzept

Am Startbildschirm wird eine Geschichte erzählt, die das Spielgeschehen erklären soll.

“Welcome adventurer!

For some time now, the island has been in turmoil. Great turbulence has arisen and scattered the six sacred sounds across the land; the native swarms need your help!  Now it’s up to you to bring each swarm to its natural Keystone and find the respective artefact, which you can grab with the right shoulder button, to restore the balance. When all the musical elements merge back into one, you’ll know you’ve done everything right. You can act on the ground and in the air, and when you press B, you’ll lure the closest swarm to your position with your flute . 

It’s all up to you, adventurer, the island is counting on you!”

Die Spielebene ist eine Insel, die an den Seiten mit Bergen begrenzt ist. Der:die Spieler:in können sich am Boden und in der Luft fortbewegen, jedoch nicht über die Grenzen der Welt hinaus. Auf der Insel befinden sich insgesamt sechs relevante Soundobjekte, die in zwei harmonisch verwandte Gruppen zu je 3 Objekten aufgeteilt sind. Pro Gruppe gibt es einen Stein (Drone), einen Schwarm (Melodie) und ein interaktives Objekt (FX/Earcandy), die redundant musikalisch sinnvoll zueinander passen. Ziel des Spiels ist es, diese durcheinander gewürfelten Objekte wieder zueinander zu führen, wobei der Stein immer an einem festen Platz steht. Um mit dem Schwarm in Verbindung zu treten, kann der:die Spieler:in durch Knopfdruck ihre Flöte zücken und damit den nächsten Schwarm anlocken. Der Knackpunkt hierbei ist, den einen gekonnt am zweiten vorbei manövrieren. Das letzte Objekt kann der:die Spieler:in per Knopfdruck aktivieren und hochheben und es sollte anschließend beim Stein abgelegt werden.

Controller

Als Input dienen die zwei Oculus-Controller und der 6DoF Gyrosensor der VR Brille. Am Boden können sich die Spiele:innen mithilfe des linken Joysticks vor und zurück bewegen und über den rechten Joysticks drehen. Durch Drücken des A-Knopfs aktiviert (oder deaktiviert) der:die Spieler:in das Script für den Flugmodus, in dem man sich ebenfalls über die zwei Joysticks gleich bewegt. Der Gyrosensor bestimmt, über die Blickrichtung, die Bewegung auf der vertikalen und horizontalen Ebene

Umgebung

Visuell wurde die Welt, auch aufgrund der Rechenleistung der Oculusbrille, in einem einfachen Low-Poly-Stil gestaltet. Die Welt beinhaltet einige Berge, die schneebedeckt sind, dynamisch Wald- und Graslandschaften, Bauwerke aus Stein, ein Tag und Nacht System, Wolken, Nebel, die über das Unity-eigene Partikelsystem erstellt wurden. Der Unity Terrain Editor bietet eine einfache Bearbeitungsmöglichkeit für die Erstellung von Landschaften und Bergen, die man über ein Brush Tool einzeichnen kann. Für die grafische Verarbeitung musste viel Rücksicht auf die Leistungseinschränkungen der VR Brille genommen und genaue Vorgaben und Einstellungen in den Qualitätseinstellungen beachtet werden. Die eingebaute Renderpipeline war für das Projekt ausreichend.

Der Schwarm

Die Regeln, nach denen sich ein Schwarm verhält, können je nach Situation variieren, aber es gibt einige allgemein gültige Verhaltensmuster.

Schwärme beruhen in der Regel auf lokaler Kommunikation zwischen den Individuen und nicht auf zentraler Kontrolle. Dies ermöglicht es dem Schwarm, sich an veränderte Bedingungen anzupassen und Entscheidungen als Gruppe zu treffen.

Des Weiteren sind Schwärme in der Regel selbstorganisierend, was bedeutet, dass die Individuen im Schwarm sich selbst in Muster oder Strukturen anordnen, ohne dass eine zentrale Steuerung erforderlich ist.

Zudem trifft jedes Individuum eigene Entscheidungen auf der Grundlage von Informationen aus seiner lokalen Umgebung und dem Verhalten seiner Nachbarn.

Schwärme sind so konzipiert, dass sie gegenüber dem Ausfall einzelner Komponenten robust sind, so dass das Gesamtsystem auch dann noch funktioniert, wenn einige Individuen ausfallen.

Schwärme sind auch skalierbar, so kann die Anzahl der Individuen im Schwarm erhöht oder verringert werden, ohne das Gesamtverhalten des Systems zu beeinträchtigen. Auf Veränderungen in der Umgebung, z.B. an neue Hindernisse oder Änderungen der Missionsziele, kann sich ein Schwarm gut anpassen.

Für die Implementation in das Spiel wurden so folgende Regeln angewandt:

-Seperation: wähle eine Richtung, die einer Häufung an Individuen entgegenwirkt

-Angleichung: wähle eine Richtung, die der mittleren Richtung der benachbarten Boids entspricht

-Zusammenhalt: wähle eine Richtung, die der mittleren Position der benachbarten Boids entspricht

Um dies umzusetzen und zu erlernen wurde das Unity-eigene “Flocking-Tutorial” gewählt, dass in 3 Schritten den in den 60 Jahren von Craig Reynolds entwickelten KI-Algorithmus der Boids näherbringt.

Resonance Audio

Resonance ist ein von Google entwickeltes Software Development Kit (SDK) für räumliches Audio, mit dem Entwickler:innen realistische und immersive Audioerlebnisse für XR-Anwendungen schaffen können. Das SDK nutzt eine physikalisch basierte Simulation, die es Entwickler:innen ermöglicht, die Position und Bewegung von Schallquellen in der virtuellen Welt, sowie die Position und Ausrichtung der Zuhörer:innen zu steuern. 

Resonance Audio enkodiert einzelne Schallquellen in einen gemeinsamen Ambisonic-Stream, um sie anschließend als Summe in binauralem Format zu dekodieren und wiederzugeben. Dazu verwendet das SDK bis zu Third-Order-Ambisonic. Der Kodierungsprozess beginnt mit der Analyse der Richtwirkung, der Entfernung und der relativen Position der Schallquellen zu Hörer:innen. Das SDK verwendet diese Informationen, um die Amplitude und Phase der Schallquellen in jedem der Ambisonic-Kanäle zu berechnen.Es berücksichtigt ebenfalls die Reflexionen und den Nachhall des Schalls in der Umgebung und schließt dafür Parameter wie Reflexionskoeffizienten, Nachhallzeit, etc. ein.

Die HRTF (bzw. HRIR), die Resonance Audio verwendet, basiert auf einem KU 100 Kunstkopf. In der Dokumentation dazu wird der Verarbeitungsprozess beschrieben und eine Anleitung für das Monitoring gegeben, was aber für dieses Projekt nicht direkt relevant war, da die integrierte Fmod-Version genutzt wurde

Die von Google zur Verfügung gestellten HRTFs konnten eine Zeit lang nicht verändert werden da das SDK aber nun als OpenSource verfügbar ist, kann ein individueller Datensatz geladen werden. In der Verwendung als Fmod-Plugin sind keine HRTFs  individuell auswählbar.

Das SDK enthält außerdem eine Reihe von Funktionen und Tools, wie z.B. dynamisches Mischen, mit dem Entwickler:innen die Balance von Klängen in Echtzeit auf der Grundlage der Position und Ausrichtung des Zuhörers anpassen können und Raummodellierung, mit der Entwickler:innen virtuelle Räume erstellen können, die die Art und Weise beeinflussen, wie der Zuhörer den Klang wahrnimmt.

Google Resonance Audio wurde erstrangig für die Verwendung auf mobilen Endgeräten konzipiert und ist deswegen eine sinnvolle Entscheidung für die Entwicklung in einer VR-Umgebung.

Google Resonance Audio ist in FmodStudio als Plugin integriert und wird mit der Software geliefert. Um das SDK zu verwenden, muss es einfach in FmodStudio als Plugin ausgewählt und in den Bus eingefügt werden. 

Die Resonance AudioSource Komponente dient als Encoder der den Stream an den Resonance AudioListener sendet, den man auf den Masterbus platzieren sollte.

Sobald der Bus eingerichtet ist, können Entwickler:innen die FmodStudio Tools verwenden, um Events zu erstellen, diese zuweisen und im Mixingprozess die Klangquellen und die Position und Ausrichtung der Hörer:innen steuern.

Das Resonance Audio SDK bietet ebenfalls eine Funktion namens AudioRoom. Diese Räume werden in Unity eingerichtet und bieten realistische frühe Reflexionen und Hall, wobei die Materialien der Wände, des Bodens und der Decke berücksichtigt werden. Dies funktioniert über ein “Magnitude Spectrum Reverb”.

Um den AudioRoom in Unity zu verwenden, muss ein leeres Gameobjekt erstellt und diesem die FmodResonanceAudioRoom-Komponente zugeteilt werden.

Bei der Option Surface Materials können sechs akustische Oberflächenmaterialien gewählt werden.

Diese können über die Dropdown-Menüs nach Belieben geändert werden. Der Parameter Reflectivity steuert die Stärke der frühen Reflexionen im Raum. Die Reverb Properties beeinflussen den späten Nachhall im Hörraum (der als Schuhschachtel-Raum gehandhabt wird). 

Umsetzung

VR

Als VR-Brille wurde die Oculus Quest gewählt. Hintergrund dieser Entscheidung ist die einfache  Einbindung in Unity mithilfe des Oculus Integration Assets, welches ein geeignetes VR-Framework und ein einfach bedienbares Input-System in Unity ermöglicht.

Um auf einer VR Brille in Unity Spiele entwickeln zu können, müssen mehrere Faktoren berücksichtigt werden.

Die maximale Dateigröße für eine Oculus-App beträgt 4GB. Der Großteil des Speicherplatzes wird grafisch belegt, man sollte aber vor allem bei hochauflösenden Sounddateien diese Zahl im Hinterkopf behalten. Ebenso verfügt die Oculus Quest über eine begrenzte Prozessorleistung (ähnlich der eines Handys), darum sollte auch dementsprechend optimiert dafür entwickelt werden und alle Assets, die Unity lädt, für Android kompilierbar sein. In der Praxis bedeutet das, die Anzahl der High-Poly-Modelle zu reduzieren, mobile Shader und Texturen mit geringerer Auflösung zu verwenden und den Zeichenabstand für bestimmte Elemente zu verringern. Es wird auch empfohlen, die Anzahl der Lichter minimal zu halten, Schatten wenn nicht unbedingt nötig, zu deaktivieren und kein Postprocessing zu verwenden.

Unity

Unity bietet gute Grundvoraussetzungen für die Entwicklung von VR-Spielen, da es sich um eine plattformübergreifende Spiele-Engine handelt, die den Großteil der gängigen VR-Geräte unterstützt. Unity beinhaltet eine Vielzahl von Funktionen und Werkzeugen, die speziell für die Erstellung immersiver und interaktiver VR-Erlebnisse genutzt werden, z. B. physikbasierte Simulationen, fortschrittliche Beleuchtungs- und Partikeleffekte und ein Interaktionssystem. Entscheidendes Auswahlkriterium war die Verknüpfungsmöglichkeit mit FmodStudio und die Scripting API, die auch Anwender:innen ohne fundierte Kenntnisse das Programmieren ermöglicht.

FmodStudio

FmodStudio eignet sich für die Soundintegration in Unity, da es sich um eine stabile, leistungsstarke und vor allem für Education-Zwecke freie, Audio-Engine handelt. Sie ermöglicht die Erstellung von komplexen, dyamischen Audioszenarien auf eine intuitive und organisierte Weise und ist optisch ähnlich einer DAW aufgebaut.

Fmod verwendet Events, um mit Unity zu kommunizieren, da sie Flexibilität und Kontrolle darüber ermöglichen, wie Klänge im Spiel ausgelöst und gemischt werden.

Dazu kann in Unity einerseits das Event erstellt und verschiedene Triggerkonditionen eingestellt werden und für komplexere Konditionen kann es über ein Script getriggert werden. 

Ideenfindung

Durch Beobachtungen von Vogel- und Fischschwärmen über die Sommermonate, kam die Frage auf, ob man Soundobjekte ebenfalls so kohärent aufeinander wirkend durch einen Raum bewegen kann. Zu diesem Zeitpunkt war mir Ambisonic und objektbasiertes Audio noch wenig bekannt und ich stieß auf die Software “SoundParticles” der gleichnamigen Firma und simulierte ein solches System (ohne wirklich den Regeln einer Schwarmintelligenz zu folgen). 

Das Ergebnis war meiner Meinung schon ansehnlich, vor allem wenn man es über Kopfhörer wiedergab und seine Außenohrübertragungsfunktion (HRTF)

aus der Auswahl gefunden hat. 

SoundParticles wird üblicherweise in der Produktion von Filmen genutzt und rendert szenenbasiert. Das bedeutet zwangshalber, dass die Simulation zeitlich linear gerendert wird und Interaktion dadurch nicht möglich ist. Daraus entstand die Idee, eine Installation zu errichten, in der Benutzer:innen mit Schwärmen in Echtzeit in Aktion treten können. Das war im Anfangsstadium noch mit Infrarot-Headtracking und einer erweiterten Realität erdacht, relativ zeitgleich entwickelte sich aber auch mein Interesse an nichtlinearem Game-Audio und als ich in der Nachforschung über Headtracking von VR-Brillen auf die Gameengine Unity stieß, war die Brücke geschlagen. Von nun an richtete sich der Fokus auf Unity, VR-Integration und einem passenden Spatializer, dessen Entscheidung auf Googles Resonace Audio fiel. In der weiteren Entwicklung wurde die Audiomiddleware FmodStudio aufgrund der einwandfreien Kommunikation zwischen Unity und Resonance und den vielseitigen Bearbeitungsmöglichkeiten in der Middleware eingebunden.

Unity

https://unity.com

Als funktionelle Basis für das Projekt wurde die Gameenigne Unity gewählt, da diese für wissenschaftliche Zwecke frei zur Verfügung steht und eine professionelle Arbeitsumgebung bietet. Zudem ermöglicht Unity durch die große Verfügbarkeit freier Assets (Erweiterungspakete die nach Projekt individuell hinzugefügt werden können) die Möglichkeit, mit vergleichsweise geringerem Aufwand auch visuell ästhetische Welten zu erschaffen. Außerdem ermöglicht es die Vergleichsweise einfache Einbindung von XR.

Fmod

https://fmod.com

Fmod ist eine Audiomiddleware die Programm- und Formatübergreifend Musikdateien laden und abspielen kann. Fmod wurde gewählt, da es ebenfalls für wissenschaftliche Zwecke frei zur Verfügung steht und DAW ähnliche, tiefere Bearbeitungsmöglichkeiten bietet als Unity.

Google Resonance Audio

https://resonance-audio.github.io/resonance-audio/

Resonance Audio ist ein plattformübergreifendes SDK für Spatial-Audio und findet in XR, Games und Videos Einsatz. Resonance Audio encodiert Soundquellen in einen Ambisonicstream (bis zu dritter Ordnung) und decodiert diesen am Ende in eine binaurale Ausgabe.

Durch die Verwendung von Kopfhörern eignet sich ein binauralen Ausgabeformats. Mithilfe der beiden Programme Fmod und Resonance Audio lässt sich in Unity vergleichbar einfach eine binaurale Ausgabe ermöglichen. Dazu werden zwei Plugins benötigt: 

-Resonance Audio Source 

• Spatsialisiert Mono-Quellen rund um die HörerInnen 
• Fügt Effekte wie die Dämpfung sich entfernender Schalquellen oder Richtcharakteristiken hinzu 

-Resonance Audio Listener  

• Ermöglicht binaurale Spatsialisierung von Quellen, die mit dem RASource erstellt wurden und verarbeitet die Simulation von Raumeffekten 

(Zwischen diesen beiden Plugins können noch weitere Effekte zwischengeschaltet werden.) 

RASource encodiert simultan hunderte Mono-Quellen in bis zu third order Ambisonics und spatsialisiert anschließend die Summe, anstatt “kostenaufwändig” jede einzelne Quelle binaural zu rechnen, mit dem RAListener. So kann auch auf mobilen Geräten (–>Tablet) eine hochauflösende Wiedergabe ermöglicht werden  
Um eine realistische Interaktion von Schallwellen mit unseren Ohren und Objekten zu simulieren, verwendet Resonance Audio HRTFs. Die natürliche Bewegung des Kopfes, die uns hilft relative Änderungen der Audioposition wahrzunehmen, kann getrackt werden. Ein weiteres Plugin mit dem Namen Resonance Audio Soundfield reagiert auf die Daten der getrackten Kopfbewegungen und behält die relative Position der Schallquelle im Klangraum bei, indem die Ambisonics-Szene genau in die gegengesetzte Richtung der Kopfbewegung der BesucherInnen gedreht wird. 

Reflexionen und Hall:  

Resonance Audio verfügt über eine eingebaute Reverb-Engine, die den Klang verschiedenster Räume und deren Oberflächenreflexionen genau nachbilden kann.  

Wenn die Größe des Raums oder die Oberflächenmaterialien der Wände geändert werden, reagiert die Reverb-Engine in Echtzeit und passt die Schallwellen an die neuen Bedingungen an. Dies geschieht über ein Feedback Delay Network (FDN). Ein FDN-Reverb bringt im Gegensatz zu einem Faltungshall (mit langen Impulsantworten und higher-order Ambisonics) wieder den klaren Vorteil der Rechenleistungsersparnis.

Verdeckung und Richtung: 

Um die Immersion zu erhöhen, kann Resonance Audio auch simulieren, wie Schallwellen, die sich zwischen Quelle und Hörer ausbreiten, durch dazwischenliegende Objekte blockiert werden. Diese Verdeckungseffekte werden simuliert, indem hohe und tiefe Frequenzkomponenten getrennt verarbeitet werden. Hohe Frequenzen werden stärker verdeckt als tiefe Frequenzen, wodurch die realen Gegebenheiten nachgeahmt werden.  

Die Software kann ebenso die Richtcharakteristik einer Quelle ändern und die natürliche, ungleichmäßige Schallabstrahlung realer Quellen nachahmen. Dies kann beispielsweise bei stationäre virtuellen Quellen in der Game-Engine hilfreich sein. Es können hier zwei Parameter für die Richtwirkung, konfiguriert werden:  

Alpha: Stellt die Form der Patterns dar. Es kann zwischen Kardiod-, Kreis- oder Achterformen gewählt werden.  

Schärfe: Stellt die Breite des Patterns dar.

1 https://www.fmod.com/  

2 https://resonance-audio.github.io/resonance-audio/