Theories of Deceptive Design Patterns

The foundation for the starting point of the work is the “Dark patterns Taxonomy”, developed by Harry Brignull, which provides a detailed classification of different types. (Brignull, 2011) Additionally, there are several explanatory approaches or theories that have been proposed to explain the use of dark patterns in user interface design. One theory is that dark patterns are the result of a conflict between the interests of the designers, who are often motivated by profit or other commercial goals, and the interests of the users, who may not be aware of the manipulation. This theory suggests that designers use dark patterns because they are more effective at achieving their goals than other, more transparent methods of persuasion. (Fogg, 2003, p. 16)

Another theory is that dark patterns are the result of a lack of ethical awareness or consideration on the part of designers. This theory suggests that designers may not be intentionally trying to deceive or manipulate users, but rather they may be unaware of the potential negative consequences of their design choices.

There has been much debate in the field of human-computer interaction (HCI) about the ethical implications of dark patterns and the role of designers in promoting or preventing their use. Some HCI researchers argue that designers have a responsibility to consider the ethical implications of their work, and to design interfaces that respect the autonomy and well-being of users. (Harris & Light, 2012, p. 51) Others argue that it is not the role of designers to dictate user behavior, and that users should be empowered to make their own decisions about how to interact with technology.

There are several principles that have been proposed to guide the ethical design of user interfaces, including transparency, fairness, choice, and respect for user autonomy. These principles can help designers to create interfaces that are more transparent and less manipulative, and that give users more control over their interactions with technology.

Persuasion is the act of influencing someone’s beliefs, attitudes, or behaviors through communication. It is a common goal of marketing and advertising and is often achieved by various techniques such as appeals to emotion, appeals to authority, and framing. In the context of dark patterns, persuasion is used to manipulate users into performing actions that they might not otherwise perform and is often achieved through deceptive or manipulative techniques. (Hassenzahl & Tractinsky, 2006, p. 92)

Sources:

Brignull, Harry. ‘Dark Patterns: Deception vs. Honesty in UI Design’. A List Apart (blog), 1 November 2011. http://alistapart.com/article/dark-patterns-deception-vs.-honesty-in-ui-design/.

Fogg, B. J. ‘Persuasive Technology: Using Computers to Change What We Think and Do’. Ubiquity 2002, no. December (December 2002): 2. https://doi.org/10.1145/764008.763957.

Harris, J, and B Light. 2012. “Ethical Design and the Responsibility of HCI.” Interactions 19 (5): 50-53.

Hassenzahl, M, and N Tractinsky. 2006. “User Experience – A Research Agenda.” Behaviour & Information Technology 25 (2): 91-97.

Deceptive Design Patterns – State of Research

As a designer, it is important to be aware of the potential for deceptive design patterns and to avoid using them in your own work. As UX designer Harry Brignull explains, “dark patterns are interfaces that are designed to trick people into doing things they might not otherwise do” (Brignull, 2010).

Furthermore, using dark patterns can have serious negative consequences for users. These design techniques are often designed to trick users into taking actions that they might not otherwise have taken, such as signing up for a subscription or making a purchase. This can lead to situations where users feel deceived or frustrated, which can damage their overall experience of the product or service (Nunes et al., 2018).

On a broader level, the use of dark patterns can also contribute to a culture of mistrust and skepticism among users. As more and more products and services employ these manipulative design techniques, users may become increasingly wary of interacting with digital products and services (Cheshire & Fox, 2014).

Research on deceptive design patterns is ongoing, and there is currently no consensus on the best ways to avoid them. However, some sources recommend following ethical design principles and considering the potential consequences of your designs on users. For example, the Nielsen Norman Group, a user experience consulting firm, offers professional insights and some principles on how to avoid deceptive design patterns, such as being transparent about the goals of your design, avoiding manipulations that could harm users, and giving users control over their own actions. (NNGroup, 2021)

My own work will build on this and add up on not only understanding what makes deceptive design patterns unethical or how to avoid them, but also on how they can easily be reversed and turned back into user-friendly designs.

Sources:

Brignull, H. (2010). Dark patterns: 10 examples of online trickery. Retrieved from https://www.theguardian.com/technology/2010/jun/18/dark-patterns-examples-online-trickery

Cheshire, C., & Fox, S. (2014). The dark side of user-centered design. Communications of the ACM, 57(7), 24-26.

NNGroup. “The Role of Design Ethics in UX”. July 2, 2021. Conference Recording, 4:24. https://www.youtube.com/watch?v=cySX_CmFGcc

Nunes, J., Cunha, J., Verissimo, P., & Lopes, J. (2018). Dark patterns: A dark side of user experience design. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-14). ACM.

Volta & the world of data visualisation.

Are you tired of estimating your energy consumption and not being able to track it in real-time? Then this blog post is for you. My master thesis VOLTA – the smart energy application will innovate the way you monitor your energy usage. VOLTA visually represents your real-time energy consumption, making it easier for you to understand and control your energy usage. In this blog post, we’ll delve into the research I’m currently in, the features and benefits of interactive data visualisation and how the thesis and especially the project Volta can help you become more energy efficient. Let’s go.

Why do I want to research in this topic?

Smart energy applications that visualise your own consumption behaviour can be incredibly useful for helping you better understand your energy use and identify opportunities to save money and help you to live more sustainable. By providing a clear and intuitive visual representation of your energy consumption, Volta can make it easier to track your progress and stay motivated to reduce your energy consumption.

What’s this all about?

In this blog post I want to kick-off my research with the topic of data visualisation, to share the insights I’ve already gained and to provide a starting point for discussion. So, let’s dive into the topic and get inspired.


Hello World of Data. The aim of data visualisation is to communicate information clearly and effectively through visuals. There are several different visualisation options that can be used to display your energy consumption data, and the best option will depend on your personal preferences and the goals you have for reducing your energy use. The visualisation is mostly done in geometries, which can be divided into different categories: they show quantities or comparisons, relationships or proportions or distributions, as well as compositions. In addition, data sets can be visualised in different ways, but say the same thing.

Some common visualisation options include:

  • bar plot
  • heatmaps
  • traditional pie chart
  • stacked density plots, mosaic plots, and treemaps
  • box plot
  • the histogram
  • Violin plots and density plots
  • popular scatterplot
  • line geometries

Representing data graphically in the form of graphs, charts, and maps helps users quickly spot trends and assess the status of KPIs. Allowing direct interaction helps users dig deeper to identify patterns and find new relationships in their data. ¹

But ultimately, interactive data visualisation helps turn raw data into business insights and value for the users. Interactive data visualisation leads to better decision making, data accessibility, and user engagement. It boosts collaboration and knowledge sharing, user trust in data, frequent data engagement, and higher satisfaction with analytical tools. The modules of Data Visualisation are: Visual Literacy, Visual Analysis, Visualisations for Business (including Dashboard, Scorecard, Analytic Reports, Analysis), and Visualisations of Tomorrow. 2

With our understanding of interactive data visualisation established, let’s now discuss the benefits it offers:

The benefits of using interactive data visualisation include quicker decision-making due to the brain processing visual information faster than text, easier identification of correlations and connections, ability to spot emerging trends, and opportunities for fresh discussions and insights by telling a story with data. This method of presenting data can lead to better insights, improved business performance, and increase brand awareness by engaging the target audience. 3

What are the features of an interactive dashboard?

Interactive dashboards have features such as quick filters, drill down, chart zoom, hide cells and widgets. Quick filters allow users to easily change data without altering the dashboard for others. Drill down lets users see deeper layers of data. Chart zoom allows zooming in on a specific section of a chart to see detailed data. Hide cells lets users view only selected data. Widgets allow integrations between business intelligence software and other business software to import data automatically.4

By considering these criteria and choosing the right visualisation options regarding the user’s needs, Volta is a smart energy application that is both effective and enjoyable to use. Whether you are looking to save money on your energy bills or simply reduce your environmental impact, Volta will serve a well-structured dashboard screen with an interactive experience as a powerful tool to help you keep track & manage your energy consumption.

Should you have any inquiries or are keen on the subject, I welcome any questions or input on the topic and look forward to engaging in discussions with you.

Sources:

(1) Stephen R. Midway: Principles of Effective Data Visualization. In: Patterns: Perspective, 1,9 (2020), doi.org/10.1016/j.patter.2020.100141

(2) Jagreet Kaur: Data Visualization: Real-Time Streaming Data Visualization| Advanced Guide, In www.xenonstack.com/blog/streaming-data-visualizations (zuletzt aufgerufen am: 31.01.2022)

(3) Bernardita Calzon: Take Advantage Of The Best Interactive & Effective Data Visualization Examples, In: The datapine Blog: Data Visualization, (2022), www.datapine.com/blog/best-data-visualizations/#benefits (zuletzt aufgerufen am: 31.01.2022)

(4) Andrew Conrad: What Is an Interactive Dashboard?, In: GetApp, Blog & research, (2022), www.getapp.com/resources/what-is-interactive-dashboard/ (zuletzt aufgerufen am: 31.01.2022)

The Swarm

Sound

Sounddesign

-2 Gruppen

A:

Stein Rot

Krähen

Leuchtkugel

Gruppe A hat die Grundtonart A-moll und ist ein 3:33 Loop bestehend aus einem Synthesizer-Layer (Melodie), einem Chor ( Drone) und einem FX/Earcandy-Layer. Für die Erstellung der Melodie wurden zwei Synthesizer (Jupiter X & Moog Sub37) mit Ableton als Sequencer verwendet, wobei der Jupiter X die Melodiesequenz und der Sub 37 einen harmonischen Bass-Layer liefert. Der Chor wurde mit der Kontakt Library Spitfire Albion: Solstice erstellt. Wobei die Stimmen in 4 Kategorien nach Tonhöhe eingeteilt und respektiv darauf räumlich angeordnet wurden. Der FX-Layer besteht hauptsächlich aus Sounds, die mit Küchenutensilien aufgenommen und mithilfe verschiedener AudioFX Units intensiv bearbeitet worden sind. 

B:

Stein Blau

Schmetterlinge

Trommel

Gruppe B hat die Grundtonart G#-Dur und ist ebenfalls ein 3:33 Loop bestehend aus 3 Stems. Dieser Loop hat mehr Songcharakter, es wurde jedoch darauf geachtet, dass auch jedes Element einzeln seine Daseinesberechtigung behält. Der erste Layer (Melodie) besteht hauptsächlich aus einem Arp und einem Basslayer. Layer Zwei (Drums) ist ein gesampelter Breakbeat der aufgeschnitten, neu arrangiert und dem zusätzliche Elemente hinzugefügt wurden. Der dritte Layer (Drone) ist etwas unauffälliger und wurde mit der Bläser-Section von Spitfire Albion: Solstice verwirklicht.

Schwarm

Die Bewegung des Schwarms kann manipuliert und kontrolliert werden. Über ein Script kann im Unity Editor eine Sphäre bestimmt werden, in deren Grenzen sich der Schwarm frei nach den zuvor erwähnten Schwarmregeln bewegt. 

Die Bewegung des Schwarms konzentriert sich um ein unsichtbares Zentrum herum, dem Waypoint. Drückt der:die Spieler:in den B-Knopf, wird der Waypoint auf die gegenwärtige Position der:die Spieler:in gesetzt und der Schwarm folgt.

Um ein Soundobjekt zu platzieren, das dem Schwarm folgt, wurde zuerst die Mitte aller schwarm-zugehörigen Objekte ermittelt und anschließend ein neues Objekt auf diese mittlere Position gesetzt. Das Objekt ist über den Eventemitter mit FmodStudio verknüpft und lädt einen Loop, der in entsprechender Entfernung zu dem Objekt hörbar ist. Durch Versuche wurde die Entscheidung getroffen, dem Schwarm keine direkte Richtung im Raum zu geben, sondern er wurde breiter auf den Kopfhörern verteilt. Somit hebt er sich etwas von den Krähen Sounds, die wiederum  eine Richtung besitzen und sich weiter im Raum verteilen, ab.

Der erste Schwarm, die Krähen, hat zwei verschiedene Layer. Die Krähensounds wurden aus verschiedenen Quellen bezogen und einzelne Krächzer herausgeschnitten und restauriert, sodass nur noch der reine Krähensound präsent ist. Der zweite Layer, der nur auf sehr kurze Distant hörbar ist, besteht aus 5 verschiedenen Flügelschlägen, bei denen der Pitch auf +- 4 Pt. randomisiert wurde.

Die Schmetterlinge wurden ähnlich gestaltet. Sie bestehen aus einem Flügelschlag-Layer und einem SFX. Da Schmetterlinge ja eigentlich für den Menschen kaum hörbare Geräusche machen, wurde hier etwas mehr kreativer Spielraum gelassen.

Umgebungs-Sounddesign

Für das Umgebungs-Sounddesign wurden hauptsächlich Atmos und Fieldrecordings aus eigenen und verschiedenen dritten Quellen verwendet. Grundsätzlich können die Umgebungs-Sounds in drei, sich leicht überschneidende Layer unterteilt werden:

  1. Boden:

Der Boden ist der komplexeste Layer. Seine Basis bildet eine 3:33 lange Kuration aus Aufnahmen von Morgen, Mittag, Abend und Nacht. Wichtig, und auch am herausforderndsten, waren hier Aufnahmen zu finden, die keine Insektengeräusche oder rauschende Blätter beinhalten, da diese als eigene Layer eingesetzt wurden. Um eine höhere Immersion zu erzielen, befindet sich in Bodennähe noch ein dritter Schwarm, der gleichmäßig, mit minimaler Bewegung über die Ebene verteilt ist. So hört der:die Spieler:in die Atmosphäre diffus, die Insekten haben aber eine feste Position im Raum. Die Waldatmosphären sind ebenfalls ein eigener Layer und grenzen sich im Raum voneinander ab.

  1. Luft:

Der Luftlayer besteht aus einer einfachen Windsequenz die sich mit dem Boden-Layer über etwas überschneidet.

  1. Höhen:

Der Höhenlayer ist eine stärkere Windsequenz

Controller

Ist der Controller im Run-Modus, aktiviert ein Script Fußstapfen, sobald der:die Spieler:in den Joystick beweget und der Controller sich auf dem Boden befindet. Da über die update() Funktion das Event des Fußstapfensounds jeden Frame an Fmod gesendet und ausgeführt wird, wurde hier ein Timer hinzugefügt, der alle 0,3 Sekunden das Event sendet.

Dasselbe passiert Im Fly-Modus, nur mit einem Flügelschlag Sound und ohne der Bodenkondition. Wenn der:die Spieler:in in der Luft anhält, wird eine ähnliche, nur langsamere Sequenz abgespielt. Zusätzlich kommt ein Wind-Layer hinzu, sobald der Controller in der Luft ist.

The Swarm

Spielkomponenten

Spielkonzept

Am Startbildschirm wird eine Geschichte erzählt, die das Spielgeschehen erklären soll.

“Welcome adventurer!

For some time now, the island has been in turmoil. Great turbulence has arisen and scattered the six sacred sounds across the land; the native swarms need your help!  Now it’s up to you to bring each swarm to its natural Keystone and find the respective artefact, which you can grab with the right shoulder button, to restore the balance. When all the musical elements merge back into one, you’ll know you’ve done everything right. You can act on the ground and in the air, and when you press B, you’ll lure the closest swarm to your position with your flute . 

It’s all up to you, adventurer, the island is counting on you!”

Die Spielebene ist eine Insel, die an den Seiten mit Bergen begrenzt ist. Der:die Spieler:in können sich am Boden und in der Luft fortbewegen, jedoch nicht über die Grenzen der Welt hinaus. Auf der Insel befinden sich insgesamt sechs relevante Soundobjekte, die in zwei harmonisch verwandte Gruppen zu je 3 Objekten aufgeteilt sind. Pro Gruppe gibt es einen Stein (Drone), einen Schwarm (Melodie) und ein interaktives Objekt (FX/Earcandy), die redundant musikalisch sinnvoll zueinander passen. Ziel des Spiels ist es, diese durcheinander gewürfelten Objekte wieder zueinander zu führen, wobei der Stein immer an einem festen Platz steht. Um mit dem Schwarm in Verbindung zu treten, kann der:die Spieler:in durch Knopfdruck ihre Flöte zücken und damit den nächsten Schwarm anlocken. Der Knackpunkt hierbei ist, den einen gekonnt am zweiten vorbei manövrieren. Das letzte Objekt kann der:die Spieler:in per Knopfdruck aktivieren und hochheben und es sollte anschließend beim Stein abgelegt werden.

Controller

Als Input dienen die zwei Oculus-Controller und der 6DoF Gyrosensor der VR Brille. Am Boden können sich die Spiele:innen mithilfe des linken Joysticks vor und zurück bewegen und über den rechten Joysticks drehen. Durch Drücken des A-Knopfs aktiviert (oder deaktiviert) der:die Spieler:in das Script für den Flugmodus, in dem man sich ebenfalls über die zwei Joysticks gleich bewegt. Der Gyrosensor bestimmt, über die Blickrichtung, die Bewegung auf der vertikalen und horizontalen Ebene

Umgebung

Visuell wurde die Welt, auch aufgrund der Rechenleistung der Oculusbrille, in einem einfachen Low-Poly-Stil gestaltet. Die Welt beinhaltet einige Berge, die schneebedeckt sind, dynamisch Wald- und Graslandschaften, Bauwerke aus Stein, ein Tag und Nacht System, Wolken, Nebel, die über das Unity-eigene Partikelsystem erstellt wurden. Der Unity Terrain Editor bietet eine einfache Bearbeitungsmöglichkeit für die Erstellung von Landschaften und Bergen, die man über ein Brush Tool einzeichnen kann. Für die grafische Verarbeitung musste viel Rücksicht auf die Leistungseinschränkungen der VR Brille genommen und genaue Vorgaben und Einstellungen in den Qualitätseinstellungen beachtet werden. Die eingebaute Renderpipeline war für das Projekt ausreichend.

The Swarm

Der Schwarm

Die Regeln, nach denen sich ein Schwarm verhält, können je nach Situation variieren, aber es gibt einige allgemein gültige Verhaltensmuster.

Schwärme beruhen in der Regel auf lokaler Kommunikation zwischen den Individuen und nicht auf zentraler Kontrolle. Dies ermöglicht es dem Schwarm, sich an veränderte Bedingungen anzupassen und Entscheidungen als Gruppe zu treffen.

Des Weiteren sind Schwärme in der Regel selbstorganisierend, was bedeutet, dass die Individuen im Schwarm sich selbst in Muster oder Strukturen anordnen, ohne dass eine zentrale Steuerung erforderlich ist.

Zudem trifft jedes Individuum eigene Entscheidungen auf der Grundlage von Informationen aus seiner lokalen Umgebung und dem Verhalten seiner Nachbarn.

Schwärme sind so konzipiert, dass sie gegenüber dem Ausfall einzelner Komponenten robust sind, so dass das Gesamtsystem auch dann noch funktioniert, wenn einige Individuen ausfallen.

Schwärme sind auch skalierbar, so kann die Anzahl der Individuen im Schwarm erhöht oder verringert werden, ohne das Gesamtverhalten des Systems zu beeinträchtigen. Auf Veränderungen in der Umgebung, z.B. an neue Hindernisse oder Änderungen der Missionsziele, kann sich ein Schwarm gut anpassen.

Für die Implementation in das Spiel wurden so folgende Regeln angewandt:

-Seperation: wähle eine Richtung, die einer Häufung an Individuen entgegenwirkt

-Angleichung: wähle eine Richtung, die der mittleren Richtung der benachbarten Boids entspricht

-Zusammenhalt: wähle eine Richtung, die der mittleren Position der benachbarten Boids entspricht

Um dies umzusetzen und zu erlernen wurde das Unity-eigene “Flocking-Tutorial” gewählt, dass in 3 Schritten den in den 60 Jahren von Craig Reynolds entwickelten KI-Algorithmus der Boids näherbringt.

The Swarm

Resonance Audio

Resonance ist ein von Google entwickeltes Software Development Kit (SDK) für räumliches Audio, mit dem Entwickler:innen realistische und immersive Audioerlebnisse für XR-Anwendungen schaffen können. Das SDK nutzt eine physikalisch basierte Simulation, die es Entwickler:innen ermöglicht, die Position und Bewegung von Schallquellen in der virtuellen Welt, sowie die Position und Ausrichtung der Zuhörer:innen zu steuern. 

Resonance Audio enkodiert einzelne Schallquellen in einen gemeinsamen Ambisonic-Stream, um sie anschließend als Summe in binauralem Format zu dekodieren und wiederzugeben. Dazu verwendet das SDK bis zu Third-Order-Ambisonic. Der Kodierungsprozess beginnt mit der Analyse der Richtwirkung, der Entfernung und der relativen Position der Schallquellen zu Hörer:innen. Das SDK verwendet diese Informationen, um die Amplitude und Phase der Schallquellen in jedem der Ambisonic-Kanäle zu berechnen.Es berücksichtigt ebenfalls die Reflexionen und den Nachhall des Schalls in der Umgebung und schließt dafür Parameter wie Reflexionskoeffizienten, Nachhallzeit, etc. ein.

Die HRTF (bzw. HRIR), die Resonance Audio verwendet, basiert auf einem KU 100 Kunstkopf. In der Dokumentation dazu wird der Verarbeitungsprozess beschrieben und eine Anleitung für das Monitoring gegeben, was aber für dieses Projekt nicht direkt relevant war, da die integrierte Fmod-Version genutzt wurde

Die von Google zur Verfügung gestellten HRTFs konnten eine Zeit lang nicht verändert werden da das SDK aber nun als OpenSource verfügbar ist, kann ein individueller Datensatz geladen werden. In der Verwendung als Fmod-Plugin sind keine HRTFs  individuell auswählbar.

Das SDK enthält außerdem eine Reihe von Funktionen und Tools, wie z.B. dynamisches Mischen, mit dem Entwickler:innen die Balance von Klängen in Echtzeit auf der Grundlage der Position und Ausrichtung des Zuhörers anpassen können und Raummodellierung, mit der Entwickler:innen virtuelle Räume erstellen können, die die Art und Weise beeinflussen, wie der Zuhörer den Klang wahrnimmt.

Google Resonance Audio wurde erstrangig für die Verwendung auf mobilen Endgeräten konzipiert und ist deswegen eine sinnvolle Entscheidung für die Entwicklung in einer VR-Umgebung.

Google Resonance Audio ist in FmodStudio als Plugin integriert und wird mit der Software geliefert. Um das SDK zu verwenden, muss es einfach in FmodStudio als Plugin ausgewählt und in den Bus eingefügt werden. 

Die Resonance AudioSource Komponente dient als Encoder der den Stream an den Resonance AudioListener sendet, den man auf den Masterbus platzieren sollte.

Sobald der Bus eingerichtet ist, können Entwickler:innen die FmodStudio Tools verwenden, um Events zu erstellen, diese zuweisen und im Mixingprozess die Klangquellen und die Position und Ausrichtung der Hörer:innen steuern.

Das Resonance Audio SDK bietet ebenfalls eine Funktion namens AudioRoom. Diese Räume werden in Unity eingerichtet und bieten realistische frühe Reflexionen und Hall, wobei die Materialien der Wände, des Bodens und der Decke berücksichtigt werden. Dies funktioniert über ein “Magnitude Spectrum Reverb”.

Um den AudioRoom in Unity zu verwenden, muss ein leeres Gameobjekt erstellt und diesem die FmodResonanceAudioRoom-Komponente zugeteilt werden.

Bei der Option Surface Materials können sechs akustische Oberflächenmaterialien gewählt werden.

Diese können über die Dropdown-Menüs nach Belieben geändert werden. Der Parameter Reflectivity steuert die Stärke der frühen Reflexionen im Raum. Die Reverb Properties beeinflussen den späten Nachhall im Hörraum (der als Schuhschachtel-Raum gehandhabt wird). 

The Swarm

Umsetzung

VR

Als VR-Brille wurde die Oculus Quest gewählt. Hintergrund dieser Entscheidung ist die einfache  Einbindung in Unity mithilfe des Oculus Integration Assets, welches ein geeignetes VR-Framework und ein einfach bedienbares Input-System in Unity ermöglicht.

Um auf einer VR Brille in Unity Spiele entwickeln zu können, müssen mehrere Faktoren berücksichtigt werden.

Die maximale Dateigröße für eine Oculus-App beträgt 4GB. Der Großteil des Speicherplatzes wird grafisch belegt, man sollte aber vor allem bei hochauflösenden Sounddateien diese Zahl im Hinterkopf behalten. Ebenso verfügt die Oculus Quest über eine begrenzte Prozessorleistung (ähnlich der eines Handys), darum sollte auch dementsprechend optimiert dafür entwickelt werden und alle Assets, die Unity lädt, für Android kompilierbar sein. In der Praxis bedeutet das, die Anzahl der High-Poly-Modelle zu reduzieren, mobile Shader und Texturen mit geringerer Auflösung zu verwenden und den Zeichenabstand für bestimmte Elemente zu verringern. Es wird auch empfohlen, die Anzahl der Lichter minimal zu halten, Schatten wenn nicht unbedingt nötig, zu deaktivieren und kein Postprocessing zu verwenden.

Unity

Unity bietet gute Grundvoraussetzungen für die Entwicklung von VR-Spielen, da es sich um eine plattformübergreifende Spiele-Engine handelt, die den Großteil der gängigen VR-Geräte unterstützt. Unity beinhaltet eine Vielzahl von Funktionen und Werkzeugen, die speziell für die Erstellung immersiver und interaktiver VR-Erlebnisse genutzt werden, z. B. physikbasierte Simulationen, fortschrittliche Beleuchtungs- und Partikeleffekte und ein Interaktionssystem. Entscheidendes Auswahlkriterium war die Verknüpfungsmöglichkeit mit FmodStudio und die Scripting API, die auch Anwender:innen ohne fundierte Kenntnisse das Programmieren ermöglicht.

FmodStudio

FmodStudio eignet sich für die Soundintegration in Unity, da es sich um eine stabile, leistungsstarke und vor allem für Education-Zwecke freie, Audio-Engine handelt. Sie ermöglicht die Erstellung von komplexen, dyamischen Audioszenarien auf eine intuitive und organisierte Weise und ist optisch ähnlich einer DAW aufgebaut.

Fmod verwendet Events, um mit Unity zu kommunizieren, da sie Flexibilität und Kontrolle darüber ermöglichen, wie Klänge im Spiel ausgelöst und gemischt werden.

Dazu kann in Unity einerseits das Event erstellt und verschiedene Triggerkonditionen eingestellt werden und für komplexere Konditionen kann es über ein Script getriggert werden. 

The Swarm

Ideenfindung

Durch Beobachtungen von Vogel- und Fischschwärmen über die Sommermonate, kam die Frage auf, ob man Soundobjekte ebenfalls so kohärent aufeinander wirkend durch einen Raum bewegen kann. Zu diesem Zeitpunkt war mir Ambisonic und objektbasiertes Audio noch wenig bekannt und ich stieß auf die Software “SoundParticles” der gleichnamigen Firma und simulierte ein solches System (ohne wirklich den Regeln einer Schwarmintelligenz zu folgen). 

Das Ergebnis war meiner Meinung schon ansehnlich, vor allem wenn man es über Kopfhörer wiedergab und seine Außenohrübertragungsfunktion (HRTF)

aus der Auswahl gefunden hat. 

SoundParticles wird üblicherweise in der Produktion von Filmen genutzt und rendert szenenbasiert. Das bedeutet zwangshalber, dass die Simulation zeitlich linear gerendert wird und Interaktion dadurch nicht möglich ist. Daraus entstand die Idee, eine Installation zu errichten, in der Benutzer:innen mit Schwärmen in Echtzeit in Aktion treten können. Das war im Anfangsstadium noch mit Infrarot-Headtracking und einer erweiterten Realität erdacht, relativ zeitgleich entwickelte sich aber auch mein Interesse an nichtlinearem Game-Audio und als ich in der Nachforschung über Headtracking von VR-Brillen auf die Gameengine Unity stieß, war die Brücke geschlagen. Von nun an richtete sich der Fokus auf Unity, VR-Integration und einem passenden Spatializer, dessen Entscheidung auf Googles Resonace Audio fiel. In der weiteren Entwicklung wurde die Audiomiddleware FmodStudio aufgrund der einwandfreien Kommunikation zwischen Unity und Resonance und den vielseitigen Bearbeitungsmöglichkeiten in der Middleware eingebunden.

Everything works (so far)!

Everything works so far! With the help of a very esteemed study colleague, the splitter and mixer were successfully soldered and started working. These achievements marked the start of many advances in the project. Now, the left and right hand setups could actually be tested completely, involving all necessary parts, soft- and hardware. Luckily, they worked as expected. The left hand setup is now able to switch between to FX loops according to fretting hand position and the right hand setup is able to control effect pedals via the expression pedal input. Finally, two boxes made from ABS plastic were bought at Neuhold to fit the ready-made circuits in a protected enclosure. Nine holes in total were drilled into the plastic for the audio jacks as well as the power supplies.

All applications need more testing and fine-tuning. The code of the left hand setup must be fine-tuned for example to work even more accurately at detecting frets and more pedals have to be tested in conjuncture with the right hand setup in order to find out what expressive effects are ideally controlled by the strumming hand. Additionally, some gimmicks may still be implemented at a later date. These include:

  • Variable threshold potentiometer
  • LED indicators (ON/OFF, etc.)
  • Battery monitor system for ESP32-LH/RH
  • One box
  • Box design