Spatial Audio in Unity (Einführung)

Spatial Audio, wird vor allem auch in der Unterhaltungsindustrie immer wichtiger und ist mittlerweile auch kaum mehr wegzudenken. Vorallem in Games, welche zunehmend mit Kopfhörern gespielt werden, hat sich “3D-Audio” etabliert.

Unity kann ohne externe Hilfsmittel (z.B. Middleware wie Fmod, Wwise oder die folgenden VR Kits) kein Spatial Audio wiedergeben (Stand 2018). Dafür gibt es jedoch viele Lösungen von verschiedenen Herstellern, welche sich je nach Einsatzgebiet besser oder schlechter eignen. Als fundamentales Entscheidungskriterium sollte zu Beginn entschieden werden ob man Channel- oder Objektbasiert spatialisieren möchte.

Channel:

In kanalbasierten (Audio-)Formaten wird je Channel fix ein Lautsprecher zugeordnet. Mit Phantomschallquellen können virtuelle Lautsprecher durch Summenlokalisation erzeugt werden (zb.: Phantommitte bei der Stereoaufstellung), diese müssen sich jedoch immer auf der Ebene der vorhandenen Lautsprecher befinden. Kanalbasierte Formate werden hauptsächlich zur linearen Speicherung und Wiedergabe genutzt.3

Object:

„In der Objektorientierung entsteht ein komplexes System aus mit- und zueinander kooperierender
Objekte. Eigenschaften und Funktionen von Objekten werden dabei zusammengefasst, um diese
einfacher auf reale Beispiele übertragen.“4

Für die objektorientierte Audioumgebung werden vielfältige Eigenschaften
gebraucht, um die Abhängigkeiten, aber auch Unabhängigkeiten der Objekte im komplexen System zu
definieren. Zunächst wird in der Produktion unabhängig vom Endmedium produziert (z.B.
Positionierung einer Schallquelle im Raum), da moderne Wiedergabemedien nicht immer kanaldefiniert
sind. Auf der Wiedergabeseite wandelt ein Dekoder dann die Audioszene auf das jeweilige Medium um
(Lautsprecheranlage, Handy, Kopfhörer, usw.) Dadurch wird auch die Wiedergabe in einem virtuellen
Raum unabhängig zum realen Raum möglich (z.B.
HRTF)5

Für dieses Projekt werde ich mich natürlich für ein Objektbasiertes Format entscheiden.

Nach weiterer Recherche hat sich herausgestellt, dass für dieses Project die Kombination der Unity-Engine mit der Fmod Middleware aufgrund bester Performance und freier Verfügbarkeit für nicht kommerzielle Projekte die optimale Lösung ist. Fmod kommt im Paket mit dem sogenannten “Resonance Audio Spatializer”, welcher eine einfache Ausgabe in ein binaurales Audioformat ermöglicht. Aufgrund der Tatsache, dass Kopfhörer verwendet werden, ist das natürlich ein klarer Gewinn.

Anschließend noch die Produktbeschreibungen der Herstellerseite von den Programmen:

Fmod Object Mixer

To get more discrete spatialization of an audio signal you can use the FMOD object spatializer, so named because the audio signal is packaged with the spatialization information (position, orientation, etc) and sent to an object mixer. Often used to highlight important sounds with strong localization to add interest to a scene, usually used in-conjunction with the channel based approach, be that 7.1.4 or even simply 5.1 / 7.1.

There is no limit to how many FMOD_DSP_TYPE_OBJECTPAN DSPs you create, however there is a flexible limit on a per-platform basis for how many can be processed. When there are more object spatializers in use than there is available resources FMOD will virtualize the least significant sounds by processing with a tradition channel based mix.

An important consideration when using object spatializers is signal flow, unlike most DSPs, after the signal enters the DSP it is then sent out to the object mixer. The object mixer could be a software library or a physical piece of hardware, in all cases though you no longer have access to that signal. Any processing you would like to perform must be done before that point. However (to assist mixing) the object spatializer will automatically apply any “downstream” ChannelGroup volume settings so it behaves similarly to the standard FMOD spatializer.

Resonance Audio Spatializer

Once such third party is the Resonance Audio cross-platform suite of plugins that comes bundled with FMOD. Resonance Audio offers a “Source” plugin which behaves much like the FMOD object spatializer in that audio is sent out to an object mixer, however the final signal returns as binaural output at the “Listener” plugin. Resonance Audio also offers a “Soundfield” plugin for playing back first order Ambisonic sound fields. For more details about the usage of Resonance Audio please check out the user guide.

https://resonance-audio.github.io/resonance-audio/develop/fmod/getting-started

Connecting Fmod to Unity

https://fmod.com/resources/documentation-unity?version=2.01&page=user-guide.html

1 Daniel Korgler – Virtual Reality-Spiele entwickeln mit Unity®: Grundlagen, Beispielprojekte …, 2018 https://books.google.at/books?id=ondGDwAAQBAJ&pg=PT211&lpg=PT211&dq=spatial+audio+m%C3%B6glichkeiten+in+unity&source=bl&ots=9EJBO0tgbu&sig=ACfU3U1ZLOiLCgG6qsF-LOyU040ee1-CUg&hl=de&sa=X&ved=2ahUKEwj7icKror70AhVQhP0HHQIkClkQ6AF6BAgXEAM#v=onepage&q=spatial%20audio%20m%C3%B6glichkeiten%20in%20unity&f=false

2 https://documentation.help/FMOD-Studio-API/spatialaudio.html

3 Weinzierl, S. (2008). Handbuch der Audiotechnik.

4 Stahl, S. (2013). Objektorientierte Audioumgebung für Surround-Sound (Master’s thesis,
Hochschule der Medien, Stuttgart, Deutschland).
https://filestore.hdm-stuttgart.de/s/WXtrh5ADxD2IGfl

5 Max Utke 2017, https://curdt.home.hdm-stuttgart.de/PDF/Objekt-_u_kanalbasierte_Audioformate.pdf

Leave a Reply

Your email address will not be published.