Refining sensor readings

After achieving the first goal to turn an effect on above a certain fret and turn it off when below this fret as outlined in Blog #3, I have to admit that I struggled a little bit figuring out my next steps. Luckily, my supervisor and I were able to schedule and hold a meeting last week and it really helped me finding out what to do next. This weekend was all about coding and refining the code that I had up until then.

One of my problems was that the sensor data I received in Pure Data was fluctuating a lot in a quiet volatile manner which made it not ideal to control parameters like delay time or feedback amount for example. My supervisor suggested applying a kind of filter that smooths the readings. We decided on the moving average method. Based on this method, I added some lines to my code so now the Arduino takes ten samples of the distance readings of the ultrasonic sensor, sums them up and then calculates the average by dividing the sum of the ten samples by ten. I then use the average value of ten incoming samples for further computation and MIDI conversion instead of individual values. I tried it out and at least in the serial monitor of the Arduino IDE, the readings are less volatile. However, I still have to try it out in conjuncture with Pure Data and actual audio effect applications. The readings are especially smooth using integer values which I did at first. However, I fear that I might need float values in my further computations, so I changed the average filter to work floating point numbers. However, maybe integer values may be enough – so far it is impossible to tell for me.

Next to the moving average filter, another measure taken to smooth the incoming MIDI data was to send the MIDI data less frequently than the sensor outputs its readings. Using the millis() object, I programmed the Arduino to keep of the time since the program started and wait 20 ms each time before sending MIDI data to my laptop. Of course, the delay should not be too long to ensure that the parameter changes of audio effects controlled by the incoming data are still smooth enough. I think it works but as it is the case with the moving average filter, I still have to confirm the measure’s positive impact in conjuncture with Pure Data and actual audio effect applications.

Additionally, me and supervisor also talked about ways to improve some problems that I was experiencing in Pure Data. The first problem was massive latency issues, so we talked about ways to reduce the latency in Pure Data. However, as I focused on the coding aspects this weekend, I did not come round to that part yet. Additionally, there were constant clicks when I used the MIDI data from the ultrasonic sensor to alter parameters of audio effects in Pure Data. Luckily, my supervisor could help me out: apparently, I (unintentionally) implemented a kind of true bypass solution that comes with its characteristic popping noise when turned on or off. With the sig~ object and a lowpass filter lop~, I now first convert the control (numeric) signal to an audio signal and then filter it which should remove the pops.

Das Phänomen Subathon

Sub-Marathon

Das Konzept des Subathons auf Twitch setzt sich aus den Wörtern “subscriber” und “marathon” zusammen. Es soll einem Kanal helfen, mit einem langen Stream einen Zustrom von Abonnenten zu erzeugen. Es wurde vor allem durch eine Veranstaltung populär, die der heutige YouTube-Streamer Ludwig im Jahr 2021 durchführte.

Bei Twitch besteht die Möglichkeit, Streamer gegen einen Betrag von 3,99€ bis zu 24,99€ zu abonnieren. Dafür enthält der Zuschauer exklusive Emotes, sowie weitere Vorteile, die der Streamer entscheiden kann.

Vtuber-Twitch Streamer Ironmouse, Quelle: https://d1fytg1nnnd8c0.cloudfront.net/wp-content/uploads/2022/03/ironmouse.jpg

Aber es ist nicht nur das lange Streamen, das einen Subathon ausmacht.
Ein Subathon ist fast so etwas wie ein Spiel, das die Macher mit ihren Zuschauern spielen, indem sie ihren Stream mit einem Timer starten, der auf Null herunterzählt. Sobald die Uhr Null anzeigt, ist der Subathon vorbei.

Für jedes Abonnement, das der Streamer erhält, wird mehr Zeit zum Timer hinzugefügt. Auf diese Weise können Zuschauer und Fans des Kanals den Stream verlängern, indem sie ein Abonnement für den Kanal abschließen oder dem Kanal ein Abonnement schenken.
Jeder Inhaltsersteller knüpft seinen Subathon an unterschiedliche Bedingungen. Viele legen eine feste Obergrenze für die Dauer des Streams fest. Außerdem können die Streamer unterschiedliche Regeln dafür festlegen, wie viel Zeit zum Stream hinzugefügt wird, wenn ein neues Abonnement abgeschlossen wird.

Bekannte Subathons

Der Stream des Content Creators Ludwig war ursprünglich mit 30 Minuten angesetzt und konnte durch Spenden oder Abonnements um je 15 Sekunden verlängert werden. Insgesamt dauerte der Stream über 30 Tage. Die Zuschauer konnten Ludwig dabei auch beim Schlafen beobachten. Ludwig stellte während des Subathons den Rekord für die am meisten erhaltenden Abonnements auf. 283.066 Twitch Nutzer haben zu dem Zeitpunkt Ludwig abonniert. Damit brach er den Rekord von Ninja, der vorher bei 269,154 lag.

Twitch-Streamer Ludwig, Quelle: https://s3-eu-central-1.amazonaws.com/www-staging.esports.com/WP%20Media%20Folder%20-%20esports-com//var/app/current/web/app/uploads/2021/04/ludwig-715×405.jpg

Dabei geht es jedoch nicht nur um die Anzahl der Abonnenten, sondern auch darum, wie lange der Subathon dauert. Der aktuelle Rekord für den längsten abgeschlossenen Subathon-Stream liegt bei 143 Tagen und wird von Emilycc gehalten.

#1 Emilycc143 days (Ongoing)
#2TaySpokes112 days (March 2022)
#3Notmes96 days (Ongoing)
#4Serpentgameplay78 days (March 2022)
#5GhostInTheMachine76 days (October 2021)
längste Subathons auf Twitch (Stand 30.03.2022)

Vorteile und Nachteile

Das Ziel eines Subathons ist für die meisten Streamer das Gleiche. Durch das Format sollen Zuschauer zur finanziellen Unterstützung des Kanals angeworben werden. Als Gegenzug erhalten sie Content über deren Länge und teilweise über deren Inhalt sie mitbestimmen können. Je länger und spektakulärer der Subathon ist, desto eher ist die Wahrscheinlichkeit, dass über den Streamer berichtet wird. Die Reichweite des Streamers kann so auch über den Subathon hinaus weiterwachsen.

Charityevents auf Twitch werden auch oft als Subathons abgehalten. Üblicherweise arbeiten dort Streamer und eine NGO zusammen, um ein Spendenziel zu erreichen. Neben Spenden wird dabei auf das jeweilige Thema der Charity aufmerksam gemacht.

Twitch muss sich immer wieder mit der Kritik auseinandersetzen, dass die Plattform Streamer dazu ermutigt, lange Streams in Erwägung zu ziehen. Die Mechaniken belohnen laut den Kritikern das Abhalten von langen Subathons. Die mentale Gesundheit der Streamer werde dadurch beschädigt.

Setup

Das Publikum informieren

Das Publikum soll vorbereitet sein, das ist am besten zu schaffen, indem ein gewisser Hype für den Tag des Streams aufgebaut wird. Am besten beginnt man damit in etwa 2 Wochen davor. Wichtig ist es, die Zuschauer mehrmals pro Stream daran zu erinnern.

Vorbereitung von Inhalten und dem Schlafplatz

Bei einem Subathon ohne Obergrenze, gibt es auch keine Zeit für Schlaf. Daher muss vorab überlegt werden, ob man während der Schlafenszeit zu sehen ist oder ob beispielsweise anderer Streamer in dieser Zeit den Stream übernehmen. Es ist eine gute Idee, einen Plan für die Inhalte während dieser Stunden zu erstellen.

Die Zuschauer des Subathons werden genau wissen wollen, was sie für ihr Abonnement oder ihre Bits bekommen. Deshalb sollten in der Kanalbeschreibung ein Feld eingerichtet werden, in dem genau angeben ist, was jeder Sub wert ist.

Wie man einen Subathon-Timer einrichtet

Das Einrichten eines Subathons auf Twitch ist ziemlich einfach. Das Einzige, was zum Stream hinzugefügt werden muss, ist ein Subathon-Timer. In dieser Anleitung wird der in Steam Elements integrierte Subathon-Timer verwendet, es gibt jedoch auch andere Optionen wie streamtimer.io.

  1. Einloggen in die Stream Elements Dashboard oder Erstellen eines Kontos ( kostenlos)
  2. Navigation im linken Menü zu Streaming Tools -> Overlays Gallery -> Widgets -> Stream Marathon Timer -> Erstellen
Stream Marathon Timer – Subathon Stream Elements, Quelle: https://getonstream.com/wp-content/uploads/2022/03/Screenshot-2022-03-01-at-08.20.37.png

3. “Neues Overlay erstellen” -> Weiter -> Timer Namen geben -> Mein Overlay erstellen. Es erscheint
ein Browser-Quelllink, kopieren und zu Streamlabs oder OBS hinzufügen. Link kopieren.

https://getonstream.com/wp-content/uploads/2022/03/Screenshot-2022-03-01-at-08.25.24.png

4. Streamlabs oder OBS öffnen und Timer als Browser-Quelle hinzufügen. Der Timer ist nicht sichtbar
bis zum Start.

5. Zurück zu Streamelements gehen und zu Streaming Tools navigieren -> My Overlays -> Edit the
Marathon Timer, den wir gerade erstellt haben. Hier kann der Timer bearbeitet werden.

6. Auf der Bearbeitungsseite auf das Marathon-Widget oben links klicken und dann auf
Einstellungen für das Menü.

https://getonstream.com/wp-content/uploads/2022/03/Screenshot-2022-03-01-at-08.44.19.png

7. Einstellungen des Marathon-Timers bearbeiten

Timer-Einstellungen

Anfängliche Marathondauer – anfängliche Startzeit für den Subathon. Wie lange der Stream laufen würde, wenn niemand subbt.

Maximale Marathondauer – maximale Zeit, auf die Marathonzeit ansteigen wird.

Timer starten/zurücksetzen – Timer starten

60s hinzufügen – Hiermit wird die Zeit zu Ihrem Timer hinzugefügt.

Die anderen Einstellungen können als Standard belassen werden.

Zeiteinstellungen für Ereignisse

Hier kann festgelegt werden, wie viel Zeit für jedes Ereignis in einem Stream zum Timer hinzugefügt wird. Bei einem normalen Subathon werden nur Subs zum Timer hinzugefügt. Mit dem Streamlabs-Timer kann Sie dies jedoch individuell eingestellt werden.

Es kann Zeit für Abonnenten, Follower, Bits, Tipps und sogar Zuschauer aus einem Raid hinzugefügt werden. Wenn keine Zeit für ein bestimmtes Ereignis hinzugefügt werden soll, setzt man es einfach auf 0.

8. Sobald die Timer-Einstellungen vorgenommen wurden, ist der Timer für den Stream einsatzbereit.
Wenn man auf Timer starten klickt, wird er im Stream angezeigt.

Quelle: https://getonstream.com/wp-content/uploads/2022/03/Screenshot-2022-03-01-at-08.56.12-1536×896.png

Demnächst

  • Das Phänomen Subathon
  • Als virtueller Charakter reales Geld verdienen
  • Wer profitiert von V-Tubern?

Literaturverzeichnis

Miceli, Max (10.01.2022): What is a subathon on Twitch? It’s one of the popular channel marketing schemes on the platform, https://dotesports.com/streaming/news/what-is-a-subathon-on-twitch, in: https://dotesports.com/streaming [04.04.2022]

Pierre von BedeutungOnline (01.02.2022): Was ist ein “Subathon” auf Twitch? Bedeutung, Definition, Erklärung, https://www.bedeutungonline.de/was-ist-ein-subathon-auf-twitch-bedeutung-definition-erklaerung/, in: https://www.bedeutungonline.de/games-und-gaming/ [04.04.2022]

Mavrix, James (01.03.2022): What Is A Subathon On Twitch – How To Do One – [Easy Guide], https://getonstream.com/what-is-a-subathon-on-twitch/, in: https://getonstream.com/category/stream-tutorials/ [04.04.2022]

Patterson, Calum (30.03.2022): Biggest Twitch Records: Most subs, longest subathon, longest Twitch stream, https://www.dexerto.com/entertainment/biggest-twitch-records-most-subs-longest-subathon-longest-twitch-stream-1710953/, in: https://www.dexerto.com/entertainment/ [04.04.2022]

Was Japan und Osteuropa in ihrer Farbenlehre verbindet

Weiß, Rot, Schwarz, Blau.

Wenn wir versuchen, uns Farben vorzustellen, benötigt es manchmal, alle vorher festgelegten Vorstellungen aus unserem Gedächtnis zu löschen und zu einem leeren Zustand zu gelangen. Tatsächlich bedeutet das Wort iro, “Farbe” im Japanischen, auch “Geliebte”; es enthält eine Reihe von Verknüpfungen, die weit über das hinausgehen, was wir heute mit Farbe assoziieren.

Die Schachtel mit den zwölf Buntstiften, die wir als kleine Kinder zum Malen bekommen, prägt unsere Wahrnehmung. Aus ihnen gewinnen wir Begriffe wie “die Farbe des Wassers” oder “die gelbe Sonne”. Kulturell kann sich die Farbenlehre stark unterscheiden. Im Japan des 8. Jahrhunderts, als die erste Gedichtsammlung, das Manyoshu, veröffentlicht wurde, gab es wenige Wörter, die sich auf Farben bezogen haben. Damals existierten nur vier grundlegende Adjektive: akai (rot), kuroi (schwarz), shiroi (weiß) und aoi (blau). Diese vier Farben bezeichneten einen Zustand von Helligkeit und Energie (rot), die Abwesenheit von Licht (schwarz), Brillanz (weiß) und einen Eindruck von Dunkelheit (blau). Vier Adjektive mögen zunächst als zu wenig erscheinen, aber tatsächlich hatte jedes Wort ein sehr breites Spektrum und die Atmosphäre, die dadurch erzeugt wird, bedeutet, dass zum Beispiel Blau und Grün eine Stimmung auslösen, die unter der breiteren Kategorie Blau zusammengefasst werden kann. Anstatt Farben durch Adjektive zu kommunizieren, die von der Psychologie des Empfängers abhängen, können wir davon ausgehen, dass sie die Namen von Pflanzenfarbstoffen wie Indigo oder Violett oder die Namen von Dingen wie bittere Orange oder junges Gras verwendeten.

Die zahlreichen Farben, die wir als “traditionell” bezeichnen, haben ihren Ursprung in der höfischen Heian-Kultur. Die Menschen hatten ein feines Gespür für die Veränderungen in der Natur und waren in der Lage, diese Veränderungen durch Dinge wie ihre Kleidung und Haushaltsgegenstände auszudrücken. Ein Japaner galt als kultiviert, wenn er oder sie ein tiefes Bewusstsein für die Schönheit – ausgedrückt in der Redewendung “Schnee-Mond-Blume” – erlangt hatte, die in diesen jahreszeitlichen Veränderungen, zu finden war.

Worte, die die Farben des Wechsels der Jahreszeiten auf den Punkt bringen, sind fragil, aber sie haben die Kraft zu empfangen, weil sie den Moment der Beobachtung einfangen.

Ken’ya Hara

Tatsächlich lässt sich eine Signifikanz der traditionellen japanischen und osteuropäischen Farbenlehre feststellen. Die Farben Rot, Weiß, Schwarz und Blau, treten nicht aus einem pan-slawistischen Ursprung hervor, sondern besitzen eine lange und komplexe Tradition, deren Bedeutung nicht vollständig erfasst worden ist. Fakt ist, dass diese Farben besonders in ethnischen Kostümen vorkommen und sich bereits im Mittelalter als elementare Farben durchsetzen konnten.

Ein gutes Beispiel hierfür ist die südosteuropäische Tradition des Märzchens (mărțișor (rum.) / martenitsa (bulg.) / martis (griech.). Dabei handelt es sich um eine rot-weiße Schnur mit einem Anhänger, der üblicherweise am 1. März überreicht wird. In früheren Zeiten konnte die Schnur auch rot und schwarz sein. Das Band symbolisiert den Frühling und Gesundheit, wobei Weiß für den Schnee und Rot für die Sonne, die diesen schmelzen lassen soll, steht. In der Regel tragen Frauen und Männer den Glücksbringer bis zum letzten Tag des Monats März an ihrer Kleidung, in der Nähe des Herzens und binden ihn dann an den Zweig eines Baumes, sobald sie ein Zeichen, wie z.B.: das Erblühen einer Knospe oder das Vorbeiziehen eines Vogels sehen. Diese Tradition stammt noch aus der Zeit der Thraker und veranschaulicht, wie weit die Bedeutung dieser Farben in Osteuropa zurück gehen. Die Annahme, das eine Bedeutung der Farben ebenfalls aus der Beobachtung der Natur und ihren Kräften, wie bei den Japanern, entnommen wird, wäre eine plausible Erklärung, vor allem da sich hier auch viele philosophische Aspekte der slawischen und japanischen Kultur decken.

Quelle:

Hara, Ken’ya: White. Lars Müller Publishers, 2010.

Fragen über Fragen

Mein Thema und meine Recherchen des ersten Semesters eröffneten mir eine endlos erscheinende Welt an Konzepten, Ansätzen und Best-Practice Beispielen aus der Geschichte. Ich könnte darin ewig weitersuchen und ständig neue (alte), interessante Konzepte der Designausbildung finden, doch soll am Ende dieser Recherche keine geschichtliche Abhandlung, sondern der Blick in eine mögliche Zukunft stehen.

Aktuelle oder zukunftsorientierte Ansätze zur Design-Lehre sind meist weniger gut zugänglich als jene erfolgreicher Designschulen die Geschichte schrieben, außer Studienpläne von Universitäten und Fachhochschulen lässt sich oft nicht viel finden. Darum war die logische Konsequenz für mich, in diesem Semester meine Quellen von Büchern hin zu realen Personen zu tauschen.

Interviews mit Personen, die aus langjähriger, aktiver Erfahrung in der Sparte des Kommunikationsdesigns – aber vor allem auch in der Lehre desselben – interessante und fundierte Ansichten zu modernen Lehrinhalten und -methoden entwickeln konnten, sind für mich in diesem Semester das Mittel zum „Experiment“. Ich erhoffe mir davon neue Gedanken und Ansichten, die sich über Jahre aus der Praxis der Lehre aber auch der beruflichen Arbeitswelt ergeben konnten – im Jahr 2022 und nicht aus einer Zeit, wo der Fotosatz noch im kommen war. Die Interviewpartner*innen sollen dabei so breit wie möglich verortet sein, Ziel ist es auch, den österreichischen und auch den europäischen Rahmen zu erweitern und dadurch auch fremde kulturelle Konzepte zu nutzen. Die konkrete Liste der möglichen Gesprächspartner*innen wird Thema des nächsten Blogeintrages sein, hier versuche ich nun, einen strukturierten Fragenkatalog zu erarbeiten.

Der Plan ist, für mögliche Interviewpartner*innen die Hemmschwelle und den Aufwand zu minimieren, darum soll es eine kompakte Liste an Fragen geben, die im „worst case“ per mail beantwortet werden – im Best case kann ein Interview per Zoom o.Ä. stattfinden in dem die Fragen persönlich besprochen und erweitert werden können.

Persönliche Fragen

Um die Position der Person und ihre Ansichten verstehen zu können soll eingangs das Persönliche abgesteckt werden, Erfahrung in Designbereich und beruflicher Fokus. So erhoffe ich mir, gewisse Schwerpunkte der Lehre in den persönlichen Kontext der Person stellen zu können – ein Typograf wird Grundregeln eher in den Fokus stellen als ein digital Illustrator. Die Fragen dazu sollen sich aber kurz und kompakt halten:

Wie lange sind Sie schon im Bereich Kommunikationsdesign tätig?

Was ist ihre Kernkompetenz/Hauptbetätigungsfeld im Bereich Design heute?

Ausbildung

Die persönliche Ausbildung ist für mich deshalb wichtig, weil ich mir davon eine Erfahrungsspanne von Vergangenheit bis heute erhoffe, ebenso wie ein eigenes kritisches Hinterfragen der Pros und Contras der am eigenen Leib erlebten Ausbildung. Was hat aus diesen vergangenen Zeiten noch Bestand? Welche Grundlagen sind heute wie damals relevant und was unterrichten wir nur mehr aus „Gewohnheit“? Die Fragen dazu:

Welche designbezogene Ausbildung haben Sie?

Was haben Sie als positiv in ihrer Ausbildung in Erinnerung?

Was hätten Sie sich in Ihrer Ausbildung gewünscht?

allgemeine Fragen zur Lehre heute

Bei der Verortung meiner eigenen Recherche stellte sich bald die Frage, welcher spezifische Ausbildungsweg in meinem Fokus steht. Schulische Ausbildung der Sekundarstufe? Lehre? Universitäre Ausbildung oder Fachhochschule? Vor allem im Bereich der schulischen Ausbildung stellen sich neben fachspezifischen Kriterien ganz besondere didaktische Fragen, wie heranwachsenden Charakteren die komplexen Zusammenhänge des Kommunikationsdesigns gelehrt werden können. Diesen Bereich versuche ich eigentlich auszuklammern, da er durch diese zusätzlichen Effekte wohl ein eigenständiges Thema werden müsste. Die Erfahrungen der Interviewpartner in der Lehre – Art und Dauer – sind aber jedenfalls ein zentraler Punkt und werden zuerst grundlegend behandelt: 

In welcher Art der Ausbildung sind sie tätig? (Universität, höhere Schule, …)

Wie lange sind Sie in der Design-Lehre tätig?

Wie hat sich die Ausbildung in dieser Zeit verändert?

Detailfragen zur Lehre heute

Ein Hinterfragen der eigenen Lehrtätigkeit scheint für mich ein geeigneter Ausgangspunkt um in weiterer Folge über zukünftige Möglichkeiten der Designausbildung nachzudenken. Methoden und Schwerpunkte, Herangehensweisen und Systematik sollen mir eine breite Einsicht in didaktische Ansichten des 21. Jahrhunderts bieten:

Wie ist das didaktische Grundkonzept an ihrer Ausbildungsstätte? (Lehrinhalte, Methoden, Schwerpunkte)

Was ist besonders gut in ihrer Ausbildungsstelle, Ausbildungsmodell?

Was ist nicht gut, wo gibt es Verbesserungspotential?

Aussicht und Zukunftsvision

Im letzten und wohl interessantesten Teil der Fragen möchte ich neue Ansätze provozieren, wie sich Kommunikationsdesign heute und auch morgen unterrichten lässt. Zuvor möchte ich noch persönliche Einschätzungen über die Qualitäten von Designer*innen erfragen um im gleichen Schritt zu verstehen, inwieweit neue Ansätze direkt mit einem sehr wandelbaren Berufsbild einhergehen und die benötigten Qualitäten abdecken. Die Fragen dieses Abschnitts will ich im ersten Schritt sehr allgemein halten, um die Interviewpartner nicht zu sehr in eine Richtung zu lenken.

Was macht einen guten Kommunikationsdesigner*in aus?

Wie sollte eine zeitgemäße und zukunftsfähige Design-Ausbildung aus Ihrer Sicht heute aussehen?

Sollten diese allgemeinen Fragen nicht die gewünschten Ergebnisse liefern habe ich mit weiterführenden, mehr ins Detail gehenden Fragen die Möglichkeit, zielgerichtet Überlegungen zu Thementeilen anzuregen, die mir im Kontext einer zukunftsorientierten Ausbildung als spannend erscheinen:

Ist es besser möglichst viele Bereiche des Kommunikationsdesigns zu kennen oder sich einen spezifischen Fokus zu setzen – Spezialisierung oder Generalisierung?

Sind analoge Ansätze heute noch sinnvoller Bestandteil einer Ausbildung?

Macht Programmschulung in Zeiten von Youtube Tutorials Sinn?

Wie sollte man den sich verändernden (technologischen) Arbeitsbedingungen in der Lehre begegnen?

Mit diesen Fragen möchte ich in erste Interviews gehen, Erfahrungen sammeln und meine Fragen gegebenenfalls wieder anpassen um ein möglichst gutes Ergebnis zu erlangen. Jetzt heißt es, nach interessanten Gesprächspartner*innen Ausschau zu halten. Hear you next time

The Emotional Space | #11 | First Tests

With a little delay, I finally managed to get my hands on some 2.4SINK Sensors by Instruments of Things. Two of them to be more exact, together with one receiver, the 2.4SINK Eurorack Module. Other than the SOMI series that is to be released this summer, the 2.4SINK kit natively only works with control voltages (CVs), to be used in a modular setup (or literally any setup that works). The kit that my university kindly provided, which is currently standing on my desk, sits in a Doepfer casing, where it is connected to a power supply and an Expert Sleepers ES-8 USB audio interface. Furthermore there is an input expansion module on this rack, the Expert Sleepers ES-6, increasing the interface inputs from just four to ten.

Instrument of Things 2.4SINK Eurorack Module in a Doepfer casing attached to an Expert Sleepers Audio Interface

Virtual Exhibitions

Radiohead: Kid A Mnesia Exhibition

Kid A Mnesia Exhibition is a virtual Radiohead art museum featuring music from the two albums Kid A and Amnesiac. The game was released in 2021 and it can be downloaded for free on Epic Games for macOS, Windows and PlayStation 5. Although the exploration game doesn’t use virtual or augmented reality, I want to write about it because I think it is a great example of virtual exhibitions.

The journey starts in a forest. You don’t get any instructions about where you are or where to go. So you just wander through the forest until you find the entrance to the exhibition. When you enter the exhibition, the style of the game changes. From now on, you can explore the different rooms of the exhibitions with different artworks or installations while listening to music of Radiohead. For example, there is one room with lots of televisions on the wall on them, which displays are always changing. In this room, you here a unnerving yet familiar version of “The National Anthem”. In another room, there is paper all over the floor, which starts to fly away and reconstruct the room. There are also several hidden interactions, which can be discovered for example when you step on a specific object. Also, you are not the only visitor of the exhibition. There are other creatures walking through the exhibition as well. On many creatures you can see the smile with the pointy teeth from Radioheads logo.

Although you can only walk around and zoom in/out, it is very entertaining. There are little details hidden in the exhibition and you to take a closer look to encounter them. The rooms, installations and artworks are changing over time, so it would not be a good idea to rush through the rooms. Although the exhibition is a bit creepy, you can find beauty in every room. The game is definitely worth a try, even for people who aren’t the biggest Radiohead fan.

Working with Pure Data

I initially planned to use the MIDI data coming in from the sensor + Arduino directly in my DAW of choice Cubase. This, however, proved to be difficult because either Cubase is not really suited for this kind of external input, or I do not know Cubase well enough to make it work. Although, I could select the Arduino as a MIDI input in Cubase, I only managed to assign some parameters to be controlled and these were not the parameters I needed. Consequently, I abandoned the idea to use my DAW (for now) and decided to try it with Pure Data since my goal for now is only to try things out and I do not need a perfect setup yet – only a working one XD.

Luckily, I managed to write a patch in Pure Data that receives the MIDI input from the sensor + Arduino and allows me to use it further. With no DAW plug-ins at hand, I had to make my own  and with some help from YouTube I made a delay. I subsequently assigned the incoming MIDI data to the delay parameters and played the guitar to see how I could change the delay parameters through my playing. The parameters controlled by the sensor data were “Delay Time”, “Feedback Amount” and “Delay Volume (dry/wet)” respectively. I made the following observations:

The sensor measurements and consequently the MIDI values fluctuate quite a bit even when I try not to move my fretting hand at all. This is not ideal, particularly for controlling the “Delay Time” and “Feedback Amount” parameters. Additionally, dropouts occur from time to time with the MIDI value dropping to zero before going back up to the initial value which of course ruins the delay settings. I think this problem could be solved by defining certain MIDI note ranges e.g. from 97 to 103 where the effect parameters still stays the same. This way one could achieve more constant settings.

There are annoying clicks when the delay parameters change. I tried to smooth the transitions with a PD “line” object but the clicking did not really improve. I do not know what causes this problem and how to deal with it at the moment.

I had the greatest success with using the MIDI data to switch the delay on and off depending on if one is above or below a certain point of the fretboard. I discovered and used the PD “moses” object to turn the delay off for basic chords in the lower region of the fretboard and to turn the delay on if I reach up for higher frets. This setup is not harmed by the fluctuating problem since there is more room for error so to speak: If MIDI values over 50 mean ON, then it does not matter if the value is 56 or 60, the effect will stay ON.

To complement this discovery, I made a custom overdrive/distortion effect in Pure Data using the “clip” object. It is not a Tubescreamer but it serves my purpose. I also used the MIDI data as a means to turn the effect on and off and it works really well. There are only some latency issues.

The possibility to turn an effect on above a certain fret and turn it off when below this fret is one important step towards my envisioned “Solo Mode” so I am pretty happy that I made it work and achieved the first goal of my project.

First Steps into the right Direction

Last week I tested positive for COVID-19 and actually felt ill as well. Therefore, I focused on recovering and put the project on the backburner. With no new developments to write about I also skipped the weekly blog post. However, this week I felt much better already and continued with the project. I have to admit that the project until now was not as fruitful as hoped with no or only little progress made even after hours of working on it. However, this week things worked out to some extent, and I made a few steps in the right direction.

The first milestone I achieved was writing an Arduino IDE sketch that allowed me to use the Arduino as a MIDI output device. Initially, I had borrowed an Arduino UNO from the FH only to find out that an UNO is not really capable of being used as a MIDI device. I received an Arduino Micro Pro from my supervisor, but the Micro Pro required a specific set-up procedure that appeared quite daunting to a programmer noob (=me). Luckily, the FH also had an Arduino Leonardo which works with MIDI AND is easy to set up so I decided to use this one. With the right Arduino available, I started working on the code and managed to make a sketch that takes the distance measurements of the ultrasonic sensor and converts them to MIDI messages that I can subsequently use to control parameters in my DAW or Pure Data.

The next challenge was then to attach the ultrasonic sensor (+ the Arduino) to the neck of the guitar in a way that gives me reliable and useful distance readings of my fretting hand to pinpoint its position along the neck. The problem is that the posture of the fretting hand varies a lot depending on how one plays. The hand’s posture playing barre chords for example is very different from playing single notes. Therefore, I tried quite a few positions before settling on the one seen in the picture. (!!!!) I even considered to drop the ultrasonic sensor in favor of a different sensor that may be better suited for this kind of measurements. For now, the ultrasonic sensor seems to work but I will keep other options in mind.

With the ideal position identified, I still had to find a way to attach the sensor to the neck. This proved to be quite difficult because the required position while being suitable to measure the fretting hands distances is not at all ideal to attach the sensor to. Furthermore, I am no DIY genius, and I was still in quarantine, so I had to make do with the materials I had in my apartment. In the end, I “built” a small box for the ultrasonic sensor out of a Bepanthen package and used a single chop stick to attach it to the guitar’s headstock. I was very much in doubt if I really managed to put the sensor in the right position but to my great astonishment it works good enough to allow for some tone testing.

Emotionale Distanz und Nähe in Videospielen

Im letzten Beitrag wird die Distanz des Spielers zum Geschehen im Spiel als nützlich für Health Games dargestellt. Doch wie genau entsteht diese Distanz und lässt sie sich beeinflussen?

Das Max-Planck-Institut hat 2009 eine Studie zum Thema “Reality=Relevance?” veröffentlicht. Die meisten Menschen genießen das bewusste ‚Abschalten‘ vom Alltag durch Medien wie Filme oder Videospiele. Hierzu gibt es verschiedene Gründe, auf die ich jedoch in einem separaten Beitrag eingehen möchte. Die Studie untersucht, ob der Mensch Realität und Fiktion anhand der persönlichen Relevanz unterscheidet.

Bei den Untersuchungen durch Magnetresonanztomographie stellte sich heraus, dass bei fiktionalen Charakteren (in der Studie wird beispielsweise Cinderella genannt) andere Gehirnareale aktiv sind als bei realen Personen. Menschen wie zum Beispiel Politiker (mittlere Relevanz) und Familienmitglieder (hohe Relevanz), aktivierten die Gehirnregionen, welche für persönlich relevante Erfahrungen und Kenntnisse zuständig sind. (1)

Die Wahrnehmung von Personen oder Situationen ist bekannterweise individuell. So entstehen auch unterschiedliche Konzepte im Unterbewusstsein, welche der Mensch mit ebendiesen Dingen verbindet. Eine weitere Erkenntnis der Studie ist, dass diese Konzepte Einfluss auf die persönliche Relevanz haben. Je detaillierter und verständlicher diese Konzepte sind, desto höher ist die persönliche Relevanz und das damit einhergehende Realitätsverständnis. (1,2)

Ein Beispiel:

„For instance, parents reported that their 4-year old children consider fictional characters that are associated with specific regular events in one’s life, such as Santa Claus, the Easter Bunny and the Tooth Fairy, to be more real than fictional characters that are not related to real-life events, such as dragons, fairies and monsters”

Abraham, Von Cramon (2009): S.4

Die persönliche Relevanz ist demnach individuell. So kann Mensch einen Videospielcharakter, mit dem er sich zeitintensiv und ausführlich beschäftigt hat, als relevanter empfinden als einen Talkshowmoderator, den er noch nie gesehen hat. (1)

Die wahrgenommene Realität hängt demnach mit der persönlichen Relevanz zusammen. An dieser Stelle könnten Health Games anknüpfen, indem sie durch das Spielerlebnis gezielt persönlich relevante Themen ansprechen. So wäre es zu erklären, dass Patienten die benötigte Nähe zum Geschehen empfinden und trotzdem eine Distanz wahren können.

(1) Abraham A, von Cramon DY (2009) Reality = Relevance? Insights from Spontaneous Modulations of the Brain’s Default Network when Telling Apart Reality from Fiction. PLoS ONE 4(3): e4741.

(2) https://www.derstandard.at/story/1237230167159/intuitive-trennung-von-phantasie-und-realitaet

Emotionalize Design – ein Experiment

Das Thema “emotionales Design” begleitet mich nun seit dem ersten Semester und ich konnte dazu viele interessante Fakten, vor allem in der Theorie herausarbeiten und recherchieren. Über die Zeit hatte ich trotzdem das Gefühl mit der theoretischen Ausarbeitung des Themas fürs erste genug recherchiert zu haben. Da ich trotzdem das Thema vorerst nicht ganz verwerfen möchte, um ein anderes zu recherchieren, möchte ich versuchen, das Thema in der Phase des “Experimentierens” neu zu denken und anders zu betrachten. Vor allem möchte ich das Konzept aus der Praxis betrachten – obwohl es dazu wenig bis gar keine theoretischen Vorschläge für konkretes Design gibt. Viel mehr möchte ich das Recherchierte selbst in die Praxis überführen und versuchen emotionales Design in verschiedenen Bereichen des Kommunikationsdesigns anzuwenden, um zu sehen, wo das überhaupt Sinn macht, und ob sich mit der Zeit nicht vielleicht doch übergreifende Richtlinien ergeben, welche emotionales Design “umsetzbar” machen.

Plan für dieses Semester

Das bedeutet nun, dass ich mir Bereiche heraussuchen möchte, die mir besonders Spaß machen – wie Branding, Editorial Design, oder Social Media – und diese aus der Sicht des emotionalen Designs betrachten möchte. Sozusagen also einen Bereich des Grafikdesigns emotionalisieren. So wird klar werden in welchen Bereichen das vielleicht besonders viel Sinn macht, und wo man eher an die Grenzen des emotionalen Designs stößt. Eventuell kann sich so auch ein Bereich für die Masterarbeit herauskristallisieren. Für den ersten Teil und die ersten Blogeinträge möchte ich grafisch an einem Social Media (konkret Instagram) Auftritt einer selbst entworfenen Marke arbeiten und die recherchierte Theorie des letzten Semesters miteinfließen lassen.

Wie Social Media, Grafikdesign und emotionales Design zusammenpassen soll in einer kurzen Recherche zur Thematik verdeutlicht werden.

Social Media und Emotionen – theoretischer Hintergrund

Social Media wird gerne für die Präsentation von Marken und deren Werten genutzt. Dabei geht es nicht immer zwingend darum, über Social Media Produkte direkt zu verkaufen, sondern eher die Kundenbindung zu stärken und einen gewissen Lifestyle einer Marke darzustellen und zu vermitteln. Vor allem die Plattform Instagram bietet sich aufgrund des visuellen Fokus an, um eine Marke nach außen zu kommunizieren und mit Menschen zu interagieren. Um erfolgreich einen Instagram Auftritt aufzubereiten braucht es eine Strategie die dahintersteckt, um sowohl die Marke mit all ihren Werten aber auch eine gewisse User Experience und Emotionen zu vermitteln. An dieser Stelle wird emotionales Design wichtig und dahingehend auch der Begriff “branded Storytelling”, also der Einsatz von Storytelling im Kontext einer Marke und von Produkten. Wie im letzten Semester klar wurde, ist Storytelling ein wichtiger Anhaltspunkt für emotionales Design. Immer wenn Geschichten erzählt werden, sind automatisch Emotionen damit verbunden und die Möglichkeit, dass sich Menschen in diese Geschichten hineinversetzen und diese auf ihr eigenes Leben übertragen.

Immer mehr wird Social Media für die Präsentation von Marken und deren “Lifestyle” genutzt.

Wichtig ist also der Einsatz von Storytelling und dementsprechend auch von Grundlagen von Erzählungen. Über eine rein visuelle Plattform wie Instagram scheint das gar nicht so einfach, da die Ursprünge von Geschichten ja doch in gesprochener und geschriebener Form liegen. Instagram bietet zwar mittlerweile zahlreiche Möglichkeiten, wie der Einsatz von Videos, Reels, Stories etc. jedoch ist es auch wichtig, anhand normaler Posts Emotionen übertragen zu können. Ein Vorteil der visuellen Sprache ist es, dass viel eher emotionale Reaktionen hervorgerufen werden, da durch visuelle Informationen auch eine visuelle Informationsverarbeitung stattfindet. Dadurch versetzen wir uns leichter in Situationen und fühlen mit. Umso mehr sich Personen von einer Geschichte persönlich angesprochen fühlen, umso eher werden sie auch positiv, emotional über eine Marke denken und sich damit verbunden fühlen.

Bewegung in Bildern

Eine grundlegende Idee ist es somit Merkmale des klassischen Storytellings auf eine rein visuelle Form zu übertragen. Das beginnt bei der Chronologie und der Abfolge von Events, sowie Weiterentwicklung einer Story. Um dies visuell umzusetzen kann Bewegung in Bilder gebracht werden, welche dann eher eine Geschichte impliziert, als ein rein statisches Bild. Bewegung muss hier nicht gleich klassische Bewegung bedeuten. Es geht eher darum zu verdeutlichen, dass hinter einem Post bzw. einem Bild eine Geschichte und somit verschiedene Events stehen. Durch Bewegung werden auch die Spiegelneuronen im Gehirn aktiviert, wenn wir ein Bild betrachten. Diese sorgen dafür, dass Gesehenes mitgefühlt wird, da unser Gehirn eine ähnliche Repräsentation entwickelt.

Natürlichkeit und Emotion in Bildern

Ähnlich dazu sollten Bilder vermieden werden, welche wenig Emotionen vermitteln. Also Bilder die gestellt wirken, sehr statisch sind und fern aus dem Alltag vieler Personen. Eher sollte darauf geachtet werden, dass Personen in Bildern natürlich wirken, dass Mimik, Gestik und auch der Kontext einer Situation erkennbar sind, dass das Foto nicht gestellt wirkt, selbst wenn es das ist.

Anhand dieser theoretischen Rahmenbedingungen soll im nächsten Schritt versucht werden, einer Marke einen emotionalen Social Media Auftritt zu verschaffen.