It is a very compelling idea to me to create something generative and non-deterministic, that makes subjective experiences even more unique. And while there does not need to be a reason for that, I still started wondering why that is. What is it that interests me in this? Is it maybe the feeling of creating something alive and dynamic? Or is it the sense of cooperation with other things and beings? Or maybe it is just a spark of artistic insecurity that manifests in the urge to not have total control over ones creations? It could also be the desire to bring some randomness into a never truly non-stochastic, digital world. But most probably, it is a bit of all of those, and more.
These questions might say more about myself than about my vision for the installation, but that is where I think I need to start. I assume that an artistic vision is the reason why an artist creates something, which makes it extremely personal and will therefore in many cases never be known to the public. However, my current study program is called Sound Design and the discipline of design implies a thoughtful intention for creations. Additionally, my project is developed in an academic environment, which calls for an approach that is grounded in research. While this does indeed sound a little bit constraining, I do not think it is necessarily contradicting or even too confining. In the next paragraphs I will lay out what drives me to create The Emotional Space and conclude with what I expect from it.
I already painted a metaphorical picture of how I imagine my currently merely conceptual installation from a visitors perspective in The Emotional Space | #4. This time, before diving into technical details, I will provide a more straight forward view of what I want The Emotional Space to look like and the necessities to make it work.
The Space
Essentially, I want to create an audio-visual installation, which requires its own room. As an entrance, I would rather have a thick curtain instead of a door, because a door, in my opinion, seems a lot less inviting to visitors, especially if sound can be heard on the other side of it. Entering the room should only be possible after putting on a wristband, which is handed out right in front of the room.
Da ich großes Interesse an Sample-basierter Musik habe und auch selbst gerne alte Schallplatten aus dem Keller meines Vaters durch die MPC jage, habe ich mich nach einigen Enttäuschungen und Klo-Ideen dazu entschieden meine Projektarbeit dazu zu nutzen eine Art Sampler zu entwerfen, der im besten Fall irgendetwas kann, dass andere nicht können. Ebenfalls hat mich das Beschäftigen mit Pure Data dazu bewegt einen Sampler zu basteln und mich somit motiviert in diese Richtung zu steuern. Darum habe ich auch im NIME-Verzeichnis mit der Suchfunktion nach dem Wort „Sample“ gesucht und bin auf einen großartigen Beitrag gestoßen:
The Chopping Board
In der Einleitung schreibt der Hip-Hop Produzent und DJ, Jason Lee, über die Vorteile und Probleme des Samplens. Da ich die letzten Jahre ebenfalls Hip-Hop Beats baue und außerdem grade dabei bin meine erste EP zu releasen, kann ich sehr gut nachvollziehen, dass es durch zerschneiden eines Songs einfacher ist, ihn unkenntlich zu machen und somit rechtlichen Problemen zu entgehen.
Ebenfalls bin ich, wie Jason, der Meinung, dass ein Teil des Reizes des Samplings darin besteht, dass man den Produktionssound einer Aufnahmeära einfangen kann, die nicht mehr existiert, da Records mit analogem Equipment der 60er, 70er mehr „wärme“ bzw. „körnung“ besitzen.
Was ich sehr interessant finde ist die Theorie des „accidental sound“. Durch das Zerschneiden von mehreren Takten eines Tracks können zum Beispiel ein Schrei des Sängers oder andere Töne im Lied „zufällig“ platz im Rhythmus finden, um ihm einen gewissen Swing zu verpassen, was ich selbst schon des Öfteren feststellen durfte.
Auch, dass das Samplen oft eine eher programmierende als musikalische Aktivität darstellt darf ich immer wieder Erfahren, da es einiges an Vorarbeit benötigt bis es endlich zur neuen Komposition der Schnipsel kommt, da die Vorbereitung sehr zeitaufwendig und mühsam sein kann. Um dieser gegebenheit entgegenzuwirken hat Jason das Chopping Board entworfen.
im Grunde hat Jason mit seinem Chopping Board eine 18 Zoll lange physische Repräsentation eines Sampels entworfen und wollte damit erreichen, dass man das eingespielte Sampel wie ein Instrument bedienen kann. Es war nötig eine gewisse Fingerfertigkeit dafür zu entwickeln, da man sich die richtige Position einprägen musste und es ebenfalls eine Frage von Timing war wann das Sample getriggert wurde.
Betätigt wird das Chopping Board durch die Berührung des Touch-Pads. Es erlaubt dem Spielenden das Sample sofort abzuzielen und nicht erst vorbereiten zu müssen. Somit erschlaffte Jason ein Gerät das ähnlich wie ein traditionelles Instrument zu spielen war und mehr Platz für Improvisation und Experimente ließ. Mit den beiden Faden können Volume und Pitch eingestellt werden. Es war ebenfalls möglich zwischen „momentary“, wo das Sample nur so lange gespielt wird, solange das Pad gedrückt wurde und „sustain“ Playback-Mode, bei dem das Sample durch einmaliges Drücken bis ans Ende spielt zu switchen.
Ich finde die Idee spitzenmäßig, jedoch bin ich nicht sicher, ob dieses Instrument wirklich Verwendung gefunden hat. Jedenfalls habe ich in PD im Zuge meiner End-Abgabe bereits ein ähnliches Chopping board gebastelt und werde mit Sicherheit alle gesammelten Erfahrungen diesbezüglich in meine Projektarbeit einfließen lassen.
In this blog entry I will focus on a paper published at the 20th International Conference on New Interfaces for Musical Expression in 2020 . The article is called “ParaSampling: A Musical Instrument with Handheld Tapehead Interfaces for Impromptu Recording and Playing on a Magnetic Tape”. I have chosen this paper, because it relates to my individual project research and might also serve as a source of inspiration.
ParaSampling is an interactive musical instrument based on magnetic tape technology that allows for the physical performance of various musical expressions through improvisational recording and reproduction techniques. The device consists of a reel-to-reel tape deck rotating a tape loop, as well as 3 handheld modules, each specialized for one of the following functions: record, play, and erase. The playback module is a tape head running through an amplifier, while the erase module is simply a permanent magnet attached to a stand. The record module is based on a wire recorder kit published in a Japanese magazine called “Otona no Kagaku” and incorporates a circuit that allows for the recording of voice or ambient sounds onto the tape via an embedded microphone. The tape loop is 95.3cm long and has a duration of about 20 seconds if played at normal speed (4.76cm/second), but by altering the velocity of the stepping motor, pitch and time can be also adjusted.
In this study, we propose a novel instrument for sampling sounds and creating music via tangible and spatial interactions. (Joung Min and Yasuaki, 2020)
I find the idea of the handheld tape-head-modules very advantageous, as they allow for so much flexibility and open up many opportunities that mechanically would have been a lot more difficult to achieve. For example “by physically changing the positions of the devices, one can perform various musical expressions by varying the tempo of the sound.” (Joung Min and Yasuaki, 2020). Additionally, there is a possibility to slide the record or play heads along the tape while recording or listening back, which could also result in some really interesting effects. Besides all that, having a play, record and erase head, ParaSampling is also capable of all the basic operations such as delay or looping, but contrary to ordinary tape machines, its delay time is not limited by a fixed distance between the record and playback heads.
I think this project is also very educational because it literally lets users think outside the box. Usually there is a tendency to design products more compact and with hidden parts, but this leads to the fact that no one really understands what things are made of and how they actually operate. That was the case with tape as well, especially after the arrival of the compact cassette.
It is good to see that the age of Musique Concrète is not over yet and people still find ways to bring tape back to life again.
References:
Han, Joung Min, & Kakehi, Yasuaki. (2020). ParaSampling: A Musical Instrument with Handheld Tapehead Interfaces for Impromptu Recording and Playing on a Magnetic Tape. Proceedings of the International Conference on New Interfaces for Musical Expression, 543–544. https://doi.org/10.5281/zenodo.4813178
This week the conclusion was made that the idea #1 “Guitar Drum Map” will not be pursued any further. If you followed my previous posts, this should not come as a surprise as I almost immediately focused on my other idea, the Extended Guitar Performance. However, I still wanted to keep the idea as a back-up, at least until now. With my Extended Guitar Performance idea going quite well, I decided to officially quit pursuing the Guitar Drum Map. The reasons therefor are various.
First of all, researching for two ideas simultaneously is very time-consuming and, considering the workload of other subjects this semester, not reasonable.
Furthermore, I wanted to make my project an opportunity for me to learn and work with Pure Data and possibly other kinds of programming since I have not much experience in this field yet. Current research, however, suggests, that working with Pure Data will probably not be necessary for the Idea #1 “Guitar Drum Map”.
There are already several commercial products available that enable a guitar audio-to-MIDI conversion that feature DAW integration and can be used to trigger VST drum instruments. Consequently, it would be unnecessary to develop a custom Pure Data solution.
Said products include:
Roland GK-3 hexaphonic pick-up
May be used with Roland and BOSS guitar synthesizers only
Fishman TriplePlay hexaphonic pick-up
Direct MIDI output
Jam Origin MIDI Guitar 2 software
I tested the trial version of the software. Unfortunately, I was not compatible with Cubase’s Groove Agent, my go-to drum VST. However, I tested out other sounds and was not totally convinced. There is still some latency, especially when playing chords.
Moreover, I spoke to a fellow guitarist of mine about the idea and he raised additional doubts concerning the actual practicability and usage of such a guitar audio-to-MIDI solution. This further discouraged me from pursuing the idea since one of my goals with this project is definitely to make something that other musicians/guitarist can benefit from and find applications for.
My final reasons to abandon this idea is that I find it really difficult to find a “Unique Selling Proposition” so to speak that makes the idea stand out and sufficiently innovative.
As already mentioned, I will, instead, focus on my second idea “Extended Guitar Performance” for the remainder of this semester (and hopefully my master).
Nevertheless, the time invested in this project was not completely in vain: The Fishman Triple Play pick-up found during the research may still come in handy for my other idea Extended Guitar Performance and I will keep it in the back of my head.
In this blog post I will share my thoughts to an interesting paper published at the 2021 NIME (New Interfaces for Musical Expression) conference. The paper carries the title Living Sounds: Live Nature Sound as Online Performance Space and was written by Gershon Dublon and Xin Liu.
One of the remarkable aspects of the experience was that small, otherwise inconsequential events, such as a bumblebee flying around a microphone, could bring distant, isolated listeners together in the continuously unfolding story.
(Dublon & Liu, 2021)
Living Sounds describes itself as “an internet radio station and online venue hosted by nature” (Dublon & Liu, 2021). It essentially streams the sound of microphones that are installed in a wetland wildlife sanctuary around the clock on the homepage livingsounds.earth. Furthermore, the project regularly invites artists to perform on the stream, using the live sound from the microphones via a self-built online interface which provides the artists with the raw multichannel audio stream to work with.
Spatial Audio, wird vor allem auch in der Unterhaltungsindustrie immer wichtiger und ist mittlerweile auch kaum mehr wegzudenken. Vorallem in Games, welche zunehmend mit Kopfhörern gespielt werden, hat sich “3D-Audio” etabliert.
Unity kann ohne externe Hilfsmittel (z.B. Middleware wie Fmod, Wwise oder die folgenden VR Kits) kein Spatial Audio wiedergeben (Stand 2018). Dafür gibt es jedoch viele Lösungen von verschiedenen Herstellern, welche sich je nach Einsatzgebiet besser oder schlechter eignen. Als fundamentales Entscheidungskriterium sollte zu Beginn entschieden werden ob man Channel- oder Objektbasiert spatialisieren möchte.
Channel:
In kanalbasierten (Audio-)Formaten wird je Channel fix ein Lautsprecher zugeordnet. Mit Phantomschallquellen können virtuelle Lautsprecher durch Summenlokalisation erzeugt werden (zb.: Phantommitte bei der Stereoaufstellung), diese müssen sich jedoch immer auf der Ebene der vorhandenen Lautsprecher befinden. Kanalbasierte Formate werden hauptsächlich zur linearen Speicherung und Wiedergabe genutzt.3
Object:
„In der Objektorientierung entsteht ein komplexes System aus mit- und zueinander kooperierender Objekte. Eigenschaften und Funktionen von Objekten werden dabei zusammengefasst, um diese einfacher auf reale Beispiele übertragen.“4
Für die objektorientierte Audioumgebung werden vielfältige Eigenschaften gebraucht, um die Abhängigkeiten, aber auch Unabhängigkeiten der Objekte im komplexen System zu definieren. Zunächst wird in der Produktion unabhängig vom Endmedium produziert (z.B. Positionierung einer Schallquelle im Raum), da moderne Wiedergabemedien nicht immer kanaldefiniert sind. Auf der Wiedergabeseite wandelt ein Dekoder dann die Audioszene auf das jeweilige Medium um (Lautsprecheranlage, Handy, Kopfhörer, usw.) Dadurch wird auch die Wiedergabe in einem virtuellen Raum unabhängig zum realen Raum möglich (z.B. HRTF)5
Für dieses Projekt werde ich mich natürlich für ein Objektbasiertes Format entscheiden.
Nach weiterer Recherche hat sich herausgestellt, dass für dieses Project die Kombination der Unity-Engine mit der Fmod Middleware aufgrund bester Performance und freier Verfügbarkeit für nicht kommerzielle Projekte die optimale Lösung ist. Fmod kommt im Paket mit dem sogenannten “Resonance Audio Spatializer”, welcher eine einfache Ausgabe in ein binaurales Audioformat ermöglicht. Aufgrund der Tatsache, dass Kopfhörer verwendet werden, ist das natürlich ein klarer Gewinn.
Anschließend noch die Produktbeschreibungen der Herstellerseite von den Programmen:
Fmod Object Mixer
To get more discrete spatialization of an audio signal you can use the FMOD object spatializer, so named because the audio signal is packaged with the spatialization information (position, orientation, etc) and sent to an object mixer. Often used to highlight important sounds with strong localization to add interest to a scene, usually used in-conjunction with the channel based approach, be that 7.1.4 or even simply 5.1 / 7.1.
There is no limit to how many FMOD_DSP_TYPE_OBJECTPAN DSPs you create, however there is a flexible limit on a per-platform basis for how many can be processed. When there are more object spatializers in use than there is available resources FMOD will virtualize the least significant sounds by processing with a tradition channel based mix.
An important consideration when using object spatializers is signal flow, unlike most DSPs, after the signal enters the DSP it is then sent out to the object mixer. The object mixer could be a software library or a physical piece of hardware, in all cases though you no longer have access to that signal. Any processing you would like to perform must be done before that point. However (to assist mixing) the object spatializer will automatically apply any “downstream” ChannelGroup volume settings so it behaves similarly to the standard FMOD spatializer.
Resonance Audio Spatializer
Once such third party is the Resonance Audio cross-platform suite of plugins that comes bundled with FMOD. Resonance Audio offers a “Source” plugin which behaves much like the FMOD object spatializer in that audio is sent out to an object mixer, however the final signal returns as binaural output at the “Listener” plugin. Resonance Audio also offers a “Soundfield” plugin for playing back first order Ambisonic sound fields. For more details about the usage of Resonance Audio please check out the user guide.
With my newly revised concept, I finally felt the kind of enthusiasm that I was missing for my other three ideas. I now feel like I created the outlines of a new kind of playground that I can freely shape to my liking. In the following lines I will try to paint a picture of my vision from a visitors perspective of what I now call The Emotional Space.
Your experience starts in front of a door, or maybe just a very thick curtain hiding a door opening. You might hear the tame roaring of a subwoofer from the other side of it. Before you enter, you follow the friendly instructions and put one of the provided wristbands on. Not knowing what will wait for you behind the heavy curtain, you carefully pull it aside and squeeze by it into the room. You are immediately greeted by a dreamy light composition and an immersive and calm soundscape, creating a cozy atmosphere. You realize that there is nobody else in the room yet, which makes you feel at ease – a nice chance to explore the space by yourself. The room is not too big, you could probably fit around ten people in here comfortably. There are some cushioned furniture elements standing around, melting into the light composition, looking like design elements, but inviting to sit or lie on them at the same time. The sounds and lights are coming from all directions – there is no obvious front or back of the room and the curtain has vanished into the wall again.
Bevor einer Umgebung ein Audiosignal sinnvoll hinzugefügt werden kann, müssen verschiedene Parameter berücksichtigt werden. Zu den Parametern zählen der vorhandene Schalldruckpegel und das Ergebnis einer Szenenanalyse. Um diese Informationen zu erhalten, muss vor Ort eine Aufnahme mit adäquatem Equipment durchgeführt werden. Die Aufnahmen müssen dann anschließend mit verschiedensten Programmen wie Ableton, Audacity und Matlab aufbereitet und analysiert werden.
Mit folgendem Equipment wurden vor Ort zwei Audiodateien aufgenommen: Mikrofon: Behringer ECM 8000 (omnidirektionales Kondensatormikrofon) Datenspeicher: Macbook Air Aufnahmeprogram: Ableton Interface: Steinberg UR 22 Schalldruck-Kalibrator: Cirrus 1kHz Calibrator (Research plc)
Am Anfang beider Aufnahmen wurde das Gerät mit einem Sinuston von 94dB im Aufnahmeprogramm auf -26dB kalibriert. Danach wurde im Gebäudeinneren eine 15-minütige und eine 20-minütige Aufnahme im Außenbereich durchgeführt. Diese Aufnahmen werden in den nächsten Wochen analysiert. Diese dienen dann als Grundlage für die Gestaltung der Audiosignale.
Wie schon in den vorherigen Blogeinträgen angesprochen, müssen für die Gestaltung der Audio für das Leitsystem z.B. die akustischen Eigenschaften der Location und die Bedürfnisse der besuchenden Menschen berücksichtigt werden. An der Universitätsklinik für Augenheilkunde in Graz werden Menschen mit Sehbehinderungen behandelt. Also muss bei der Konzeption der Audiodatei der Umstand der Patienten eine wesentliche Rolle spielen.
Für den Sound Icon wird eine Übersetzung der Brailleschrift angedacht. Hierbei wird der ersten und zweiten vertikalen Reihe ein Akkord zugeteilt. Zudem bekommt jeder Punkt einen Ton. Die Vertrautheit der Sehbeeinträchtigten mit der Brailleschrift könnte bei der Rezeption der Audiodateien ein Vorteil für die Patienten sein.
In den nächsten Wochen soll die Funktion und die Umsetzbarkeit unter Berücksichtigung aller anderen Rahmenbedingungen evaluiert werden.
