Food Design

Die Lebensmittel, die wir täglich zu uns nehmen, sind mehr als nur Brennstoff für unseren Körper. Unsere Kultur wird durch Lebensmittel und die Gerichte, die wir damit zubereiten, geprägt. Unser Körper braucht Nahrung, um gesund zu bleiben, und je nach Zusammensetzung sind bestimmte Lebensmittel gesünder und andere weniger gesund. Beim Essen achten wir auf das Aussehen, denn das Auge isst mit. Der Begriff Food Design kommt aus dem Englischen und wird heute für zwei recht unterschiedliche Bereiche verwendet.

Zum einen meint der Ausdruck die Entwicklung und Kreation von neuen Lebensmittelrezepturen. Damit sind Speisen gemeint, die mit Hilfe von chemischen oder anderen Verfahren verändert werden, damit sie besser zu den Bedürfnissen der Konsumenten passen. So können Sportlergetränke mit Nährstoffen angereichert werden oder gesundheitssteigernde Wirkstoffe beigefügt werden. Zum anderen wird der Begriff im Alltag für die Präsentation und Aufbereitung von Essen verwendet, um damit etwa für Restaurants oder die Gastronomie, für Lebensmittelprodukte oder Foodblogs Werbung zu machen.

Jeder von uns schneidet, erhitzt, rührt und mischt unzählige Male bevor er sein Gericht verzehrt. Wir verwenden Rohwaren und Grundprodukte und kreieren daraus unsere Gerichte und Lebensmittel. Man mag es kaum glauben aber das Bedürfnis, Lebensmittel zu verarbeiten und zu gestalten ist so alt wie unsere Zivilisation. „Kulturgeschichtlich gesehen ist die Zubereitung von Speisen, die Versorgung der Menschen mit Nahrung, sogar älter als die Architektur, die Schutz vor Kälte und Regen bietet. Mit anderen Worten, sie ist die älteste künstlerische Ausdrucksform der Menschheit.“ Kubelka 2004, p.15

Jährlich kommen weltweit rund 50.000 neue Lebensmittel auf den Markt, von denen nur etwas mehr als die Hälfte auch nach mehr als einem Jahr noch erhältlich ist. Was bewegt Menschen dazu, Lebensmittel auf eine bestimmte Art und Weise zuzubereiten, zu gestalten und zu präsentieren? Warum gibt es manche Formen auch nach 2000 Jahren noch, während andere nur 2 Monate überdauern? Wie müssen Lebensmittel gestaltet sein, damit sie nicht nur wirtschaftlich, sondern auch kulturell erfolgreich sind? Klassisches Beispiel ist das Fischstäbchen:

Fischstäbchen

Die praktische Form ist nicht nur perfekt, um das Produkt blitzschnell maschinell herzustellen. Sie verbirgt auch den Ursprung des Produktes, was zu einem Effekt führt, den die meisten kennen: Selbst bei Kindern, die keinen Fisch mögen, sind die goldenen Stäbchen beliebt. Mit Veränderungen und der Gestaltung von Form, Farbe, Textur, Geschmack, Funktion fand die Lebensmittelindustrie zahlreiche Möglichkeiten, ihren Absatzmarkt zu erweitern. Mit fortschreitenden Möglichkeiten der Technik kamen immer neue Entwicklungen hinzu.

 Für die Lebensmittelhersteller gibt es viele gute Gründe, die Gestaltung von natürlichen Zutaten voranzutreiben und Nahrungsmittel zu verändern. Verfremdete Nahrungsmittel sprechen mehr Kunden an, wie das Beispiel Tomatenketchup zeigt. Den mag fast jeder, auch wenn er keine Tomaten isst. Mundgerechte Portionen, die an die menschlichen Kauwerkzeuge angepasst sind, werden gern und häufiger gegessen. Snacks wie Kartoffelchips oder Erdnussflips sind dafür typische Beispiele.

Chips und Erdnussflips

Snacks, die sich aus der Hand essen lassen, passen gut in unseren hektischen Lebensalltag. Die Käsescheibe ist so zugeschnitten, dass sie perfekt aufs Toastbrot passt. Fleisch wird in Form einer knackigen Salami zum haltbaren Snack für zwischendurch. Und auch eine harmonische Gestaltung der Optik verleitet Kunden zum Kauf. Kurz: Viele Veränderungen durch das Food Design animieren Konsumenten, mehr oder häufiger zu diesen Produkten zu kaufen.

Wie das Food Design sich entwickelt, hängt von Technologien, aber auch von Modeströmungen und kulturellen Aspekten ab. Was in Japan oder China als appetitlich gilt, kommt in der Schweiz nicht unbedingt gut an – und umgekehrt. Wie die Lebensmittel gestaltet und präsentiert werden, unterscheidet sich also von Kultur zu Kultur. Trends wie der hin zu gesünderen, sportiven Lebensstilen stellen Food Designer vor immer neue Herausforderungen. Technologien werden weiterentwickelt, Lebensmittel an die Gewohnheiten von Menschen angepasst. So begleitet das Food Design die gesellschaftliche und ernährungstechnische Entwicklung ganzer Kontinente – und setzt dabei nicht selten selbst die Trends. Für die Zukunft wird erwartet, dass neue Gentechnologien starken Einfluss darauf haben, wie die Industrie Lebensmittel weiterentwickelt.

Quellen

Vergleich.ch, [Online]. Verfügbar unter: https://www.cateringvergleich.ch/ratgeber/food-design-wenn-kuenstler-und-entwickler-lebensmittel-gestalten-c:412117. [Zugriff am 15. Nov. 2022].

Stummerer, Sonja/Hablesreiter, Martin: food design small. Reflections on Food, Design and Language. Mit Beiträgen von Vihma, Susann und Parasecoli, Fabio. Mit Bildern von Köb, Ulrike und Akita, Daisuke. Walter de Gruyter GmbH. Berlin/Bosten 2020

Erzeugung von Emotionen im Film

Emotionen sind im Film ein wichtiger Bestandteil der Dramaturgie. Denn mithilfe derer wird die Wahrnehmung der Zuschauer beeinflusst. Neben dem Unterhaltungsfaktor kann mit der Erzeugung von bestimmten Emotionen eine Szene, Gefühlswelt von fiktiven Charakteren oder Objekten hervorgehoben und eine gewissen Stimmung ausgelöst werden.

Da der Mensch in der Regel ein emotionales Wesen, ist kann dessen Empfinden (un-)bewusst gesteuert werden. Im Film werden dazu audiovisuelle Mittel genutzt, wie zum Beispiel Musik. Um auf diesen Punkt weiter einzugehen, habe ich mir folgendes Beispiel für einen Thriller ausgedacht:

In einer kurzen Szene eines fiktiven Films sieht man eine blutüberströmte Frau, die panisch durch Unterholz rennt und immer wieder ihren Blick hinter sich wirft. Es ist kurz vor Mitternacht und dementsprechend dunkel. Lediglich der Vollmond wirft sanftes Licht durch das Gestrüpp, wodurch die Wunden der Frau feucht glitzern. Die Kameraeinstellung wechselt hektisch von einer Totale, zu einer Halbnahen und schließlich verschiedenen Nahaufnahmen. Der Zuschauer hört das Brechen der Äste unter den Schritten der Frau. Sie fällt alle paar Meter erschöpft zu Boden, doch rappelt sich genauso schnell wieder auf. Eine mächtige und bedrohliche Musik setzt leise ein und wird Sekunde für Sekunde immer lauter, dröhnender, fast unerträglich basshaltig. 

Das Wimmern der Frau wird immer wehleidiger, schmerzerfüllter und ängstlicher. Ihre Panik greift um sich; macht sie taub. Nur noch ihr pochendes Herz ist zu hören. Dann Stille. Ein markerschütternder Schrei erklingt. Erneut Stille. Das Bild ist abrupt schwarz geworden. Ende.

Nun sollte der Leser, mit genug Vorstellungskraft, in der Lage sein, Spannung zu empfinden- eventuell sogar Angst.

Würde man nun die gleiche Szenerie nehmen und anstatt der bedrohlichen Musik einen fröhlichen Pop-Song, hätte es eine andere Wirkung auf den Zuschauer bzw. in meinem Fall, dem Leser. Der Spannungs-Aufbau wäre nicht mehr gegeben und auch die Neugier, was nach dem Schrei passiert, wäre verschwunden.

Selbst wenn man die Musik, andersrum abspielen lassen würde, also erst laut und dann immer leiser werdend, hätte es eine andere Wirkung. Es geht hierbei nur um Details, die das große Ganze beeinflussen. 

Genau so wie mit der Musik funktioniert die Erzeugung von Emotionen mit Farbgestaltung (Color Grading), Sound Effekten, Schnitten, Special Effects/VFX, Kameratechniken wie Zoom in/out, Kameraschwenks, Perspektiven, verschiedenen Einstellungsgrößen und vielen mehr.

Diesen Blogeintrag möchte ich als Anstoß in die Vertiefung meiner Themenauswahl für meine Masterarbeit nutzen.

New Hardware and left hand setup progress

With the BLE MIDI transmission working rather well, it was decided to move on to finish the programming work of the project. As stated in the goals set for the third semester, the left hand setup will be complemented by an additional threshold-setting knob which enables flexible threshold settings while the right hand setup will have a reset/calibration button added to it. Thus, a potentiometer with matching knob and a button were purchased at Neuhold Elektronik Graz.

As adding the threshold button seemed to be the easier thing to do, it was decided to start with the additions to the left hand setup. Firstly, the basics functions of a potentiometer were researched and a simple code to test the potentiometer and its functionality was written. The potentiometer gives out analog values ranging from 0 to 4095 if operated with 3.3 volts. These values were then divided into nine equal ranges that were matched with nine fret numbers with range 1 going from 0 to 455 for the 1st fret for example. These calculations were then put into code which was also successfully tested. Subsequently, the additional code was added to the main ToF sensor code.

Then another challenge arose: the ESP32 only has one 3.3 Volt pin. However, the ToF sensor and the potentiometer need electricity to work. The first solution found was to connect everything via a breadboard which makes it possible to split the output of the 3.3 Volt pin. This solution works but is not very sleek and thus, not suitable for the final product. Here, some other way will have to be found. Nevertheless, with sensor and potentiometer supplied with power, the code was tested.

Here, an old problem arose. The values fluctuated quite a bit so it was decided to revisit the idea of implementing a code that switches states instead of sending continuous values.

In other words, it was required that if the hand reaches above the set threshold, a MIDI message to turn an effect ON is sent just ONCE and if the hand reaches below the set threshold, a MIDI message to turn the effect OFF is sent just ONCE. If the hand moves but stays above the threshold, no MIDI message is to be sent and if the hand moves but stays under the threshold, no MIDI message is to be sent either.

To make such a code possible, not only the currently incoming fret number had to be known but also the previous fret number so both fret numbers could be compared to each other.

In order to attain the basic logical structure before actually writing the code, four possibilities were discerned:

Prerequisite: Effect is usually ON

Current fret >= threshold && previous fret >= threshold -> do nothing (leave ON)

Current fret >= threshold && previous fret < threshold -> send ON once (turn ON)

Current fret < threshold && previous fret >= threshold -> send OFF once (turn OFF)

Current fret < threshold && previous fret < threshold -> do nothing (leave OFF)

This logical structure was then put into code, but it failed to work at first. As it was hard to debug the code using MIDI messages, it was decided to resort to the old serial monitor and print everything out. Thus, the influence of different conditional operators on the actual output could be monitored very accurately and the code was gradually increased in complexity. Finally, the logical structure mentioned above worked in conjuncture with serial printing. It was then changed to work via MIDI messages, and it also worked successfully. While the code was tested in conjuncture with Cubase, it was not yet tested while actually playing guitar.

Zusammenfassung und Aussicht

Als ersten Blogeintrag wollte ich zusammenfassen, worüber ich bis jetzt geschrieben habe und jedoch weiterführen, wie sich der Blog hinsichtlich der Masterarbeit verändern kann.

Die angefangen hat alles mit dem Unterschied zwischen Simulation und einer sichtbaren Ästhetik. Die Simulation meinend ein kaum von der ‘Wirklichkeit’ zu unterschneidender Eindruck, der vor allem in der Erstellung von Digitalen Bildern mit dem Computer als Ziel gilt. Die Verwendung unterschiedlichster neuer Technologien, wie die Fotogrammetrie, dem digitalisieren von realen Gegenständen mithilfe von Kameras, oder dem Motion Tracking, das über einen Anzug oder einem Komplexen Kamerasystem eine natürliche Bewegung festgehalten werden kann.
Als große neue Entwicklung ist nun immer häufiger von AI die Rede – Artificial Intelligence / Künstliche Intelligenz, die mithilfe von Text-inputs Bilder generiert, die kaum von realen Fotos unterscheidbar ist. Sie verwenden unterschiedliche Modelle, wie das GAN Prinzip, wo die KI in weiterem Sinne auf ein gewisses Set an Bilder trainiert wird in dann, wenn man es genau nimmt, nicht alle Bilder in und Auswendig lernt, sonder versteht, wie der “Pinsel” gezogen werden muss. Auch wenn dies Interessent wirkt ist diese Unterscheidung in der Frage des Urhebers äußerst interessant, denn zieht die AI einen Pinselstrich, so entstehen keine Kopien irgendwelcher anderer Künstler, sondern immer wieder ein neues Bild. Ein weiterer großer Vorteil dieser Technik ist die Geschwindigkeit – mit derzeitigen Systemen wie “MidJourney” oder “OpenAI’s Dall-E” werden zig Bilder in Minuten erstellt. Die Weiterentwicklung geht auch unheimlich schnell, alle 4 Wochen ist eine neue Technik vorhanden, die es ermöglicht, Video und soar auch schon 3D Modelle zu erstellen. In der Musik kann Stimme auch in eine komplexe Komposition aus unterschiedlichen Instrumenten erstellt werden. Ihre Zusammenarbeit ermöglicht, binnen gerigem Aufwand – im Vergleich zu herkömmlichen Methoden – unzählige Inhalte zu generieren und zu veröffentlichen.
Ein interessanter Aspekt hierzu wäre die Entwicklung der Menschheit in eine Konsumgesellschaft, wo jeder Produziert, aber immer weniger die Menge konsumieren können.

Als Komplementär zur Simulation sehe ich die visuelle Ästhetik, der Erlaubt, Inhalte zu abstrahieren und auf die Kreativität des Erstellers und des Betrachters zählt. In der sichtbaren Ästhetik liegt augenscheinlich die Möglichkeit, aus der “Realität” auszubrechen und aus dieser möglicherweise zu entkommen. Welche Türen sie aber generell öffnet, oder aber auch schließt, das wollte vorerst noch heraus finden.

Um die beiden komplementären Eindrücke voneinander zu unterscheiden, braucht es eine Art von Methodik, wie ein gewisser Abstraktionsgrad von einer Simulation unterschieden werden kann – und das brachte mich auf die Frage – was ist den eigentlich Realismus. Bisweilen hat man schon viele Theorien und Philosophische Beschreibungen gehört, mit dem aber nicht wirklich viel anzufangen war, sondern man ein klares “JA” oder “NEIN” hören wollte. Daher war es mein Ziel, die “Realität” mithilfe von Lernmethoden für Kleinkinder zu definieren, und wie eine Art Benchmark für den Realismus erstellt werden kann. Ein Beispiel – man sieht einen Tisch, der in vielerlei Hinsicht Signale an das Gehirn schickt. Der Visuelle Reiz, das der Tisch ein Volumen hat, der Tastsinn, dass der Tisch einen Widerstand hat und der Gehörsinn und Geruchssinn, wenn man darauf Klopft oder ganz nah mit der Nase hin geht. Der Mensch hat also ein Absicherungssystem und eine “Wirklichkeit” herzustellen. Aus all diesen Informationen wird dann ein Mentales Modell erstellt, in dem der Tisch gewisse “Affordances” / Merkmale aufweist, die auf eine mögliche Interaktion hinweisen. In der Wissenschaft funktioniert das ähnlich, man erstellt ein Modell, das entweder mit unterschiedlichsten Methoden erneut zutrifft, oder es funktioniert mit einer Wahrscheinlichkeit von Sigma 5, also 1:3,3Millionen immer und immer wieder erneut. Dann wird es als eine Wirklichkeit angesehen. Es gibt sicherlich noch weitere Methodiken, die man sich im weiteren noch anschauen könnte.

Ein interessanter Beitrag den zu zu Realismus gefunden hatte war von Lin, Jih-Hsuan Tammy. (2015). The Contributions of Perceived Graphic and Enactive Realism to Enjoyment and Engagement in Active Video Games. International Journal of Technology and Human Interaction. 11. 1-16. 10.4018/ijthi.2015070101 in dem Lin von zwei unterschiedlichen arten von Realismus spricht, dem externen und enaktiven Realismus. Als extern betrachtet wird die Übertragbarkeit in die “Wirklichkeit”, der Welt, die besteht, und als enaktiver Realismus wird die Bewegung und Handlung in einer künstlichen Umgebung, die aber in der Realität stattfindet. Dahinter verstecken sich auch Gedankengänge, Entscheidungen und Reaktionen auf diverse Reize.

Auch in der Werbung findet man solche Aspekte. Eine Schimmerdes brandneues Handy, dessen Metallkonturen so glatt und dessen Screen so hochwertig. In unserem Kulturkreis in Mitteleuropa ist das keine Neuheit mehr. Man weiß, dass in der Werbung alles perfekt dargestellt wird und wenn wir das Handy dann kaufen, dann wissen wir auch, dass vielleicht nur ein gewisser Teil davon wirklich so eintritt und ein Teil davon schöner klang, als es sich wirklich herausstellte. Dieses Verhältnis nenne ich hier Enttäuschungsverhältnis. Dieses kann man vielleicht leichter mit einem Bewerbungsgespräch vergleichen. Man geht zum Gespräch vorbereitet und aufbereitet. Man richtet sich her, zieht sich schöne Kleidung an, man achtet auf seine Aussprache und und und. Es ist dem Menschen wichtig, die wichtigen Sozialen Kontakte zu ihrem Gunsten zu drehen. Und dafür ist man auch bereit, die Realität etwas zu spannen. Ein Verzerrungsverhalten, in dem man sich vielleicht besser darstellt, als man wirklich wäre, um sich von der Konkurrenz abzusetzen. Darin ist nicht zwangsweise das Lügen inkludiert, doch fällt das Weglassen von wichtiger Information doch in eine ähnliche Kategorie. Auf der Seite des Arbeitgebers oder der Arbeitgeberin ist man sich diesem Verzerrungsverhalten bewusst in entscheidet selbst, ob das Risiko zu groß oder passend ist. Folgend dann ein Enttäuschungsverhältnis, in dem das Resultat mit der Erwartung verglichen wird. Allgemein gibt es anscheinend unterschiede zwischen den Kulturen. Wohingegen in Mitteleuropa mit einer größeren Abweichung gerechnet wird, auch in der Werbung – ist es in Japan nicht gern gesehen. Lieber das Handy zu schlecht verkaufen, damit es im Endeffekt die Erwartungen noch übertreffen kann, als zu enttäuschen. Eine Enttäuschung würde die zukünftige Zusammenarbeit in jeglicher Hinsicht dann verhindern.

-> Fragen, die noch offen sind, die mich zu dem Zeitpunkt noch weiter interessiert hätten:

  • In der Entwicklung dieser Technologien sieht man erst wie erschreckend realistisch vor allem schon die künstlich erstellten Bilder werden. Ein Bild von einem Drachen beispielsweise kann nicht echt sein, denn es hat nie wirklich Drachen gegeben. Oder hat es? In der Bildwelt, kann in Zukunft wahrscheinlich nicht mehr anhand des Bildes entschieden werden, was nun Real ist und was nicht. Jemand in der Geschichte gebildet könnte heute weiter helfen – doch werden in Zukunft abertausende künstlich erstellte Bilder im Umlauf sein. Alle Sinne können hinterlistig werden.
    Sofern man nicht vor Ort ist, und sich auf digitale Medien stützt, gibt es möglicherweise in Zukunft keinen mehr, der wirklich von Unwirklich unterscheiden kann. Die Verfolgung von “Truths” wird ein großes Thema sein.
  • Wie könnte sich eine Werbeplakat mit neuster Technologie genau auf eine Person einstellen? Echtzeit-Renderprogramme erlauben das erstellen eines 3D Bilds binnen Millisekunden – AI Bild Generatoren können jedes Bild, dass man verwörtlichen kann erstellen.
    Die Werbung könnte also alles Zeigen, was man wollte. (Moral vorerst ausgeklammert)

Fragestellungsentwicklung für Masterarbeit:

In my master’s thesis I deal with the topic…

… of manipulating the mind with either a simulation of reality or a visual aesthetic and if there could be a benchmark to evaluate the realness of those Creations. Furthermore in what form do they manipulate and who does culture and generation play a role in that?

Unlearning Gestures

Throughout the years we have learned new movements and gestures with modern devices. Knowing them, and certainly using them, makes it easier and faster, but we all know the moment when things bug or freeze in a half rotation or else.
Some gestures differ from brand to brand or device model and size, but some gestures have manifested. We can see it in younger generations, who do not even know the old “call me later” sight, because phones do not look like that anymore.

But older generations, who’s brain and learning capacities are limited and their memory is restricted, have difficulties understanding those gestures. They even get in their way somehow.
“Why keeps my screen turning when I video-call you” – Device rotation
“Why is the picture so small” – Doesn’t know the zoom gesture
“How can see the other picture now” – flick the screen

Whilst knowing very little gestures, the overall screen-rotation and device-orientation is too big of a bite for their understanding point of view.

I noticed that while I was reading a Thesis in the library about Device Orientation from Stefan Kaltenegger CMS16. I was thinking that this could be another topic in my thesis, but the other way around. It would be limited or blocked by the app, because mobile-orientation and complex gestures are in fact a source of error for seniors.

V-Tubing, A Comparison of the Perception of Anonymity and Media Presence between Europe, Asia, and America based on the Creation of a Virtual Character

first exposee attempt

Introduction

The term V-Tuber stands for “Virtual Youtuber” and was created in 2016 by an artificial intelligence called Kizuna Ai.
With V-Tubing, a 2D or 3D avatar is shown instead of one’s own face, which follows the movements of the streamer in real time and thus creates the illusion of a non-real person. Using motion, face, hand and eye tracking and special software, entire streaming performances can be performed in complete anonymity and still generate large audiences.

Current relevance

The digitalization of the entertainment industry is progressing steadily and is basically unstoppable, as in most sectors. With the Corona crisis in 2019, the entire world had to switch to online mode, which led, among other things, to the establishment of a new branch of entertainers. However, this constant accessibility and permanent “being ON”, has also led to issues such as “anonymity on the internet” and “media perception” taking on an even more significant status. Various video and streaming platforms have shown that any kind of recording once published on the web can hardly be removed again.
It can be concluded that the internet provides a new generation of entertainers with the biggest stage in the world. At the same time, however, it has no regard for privacy and consequences of any kind for missteps. At this point, virtual streaming circumvents many of these problems.

Personal perspective

In my studies, I deal with new media of our time. For me, V-Tubing is like a kind of real anime and thus links my interest in moving images and my penchant for Japanese pop culture. But it is much more than Japanese-style animated illustrations, it offers the possibility of gaining popularity on the internet while ensuring anonymity and privacy on the net. What seems to sound paradoxical is, in my opinion, a future model for entertainers of all kinds.
Tracking is already used in many live film and game productions to generate body movements as naturally and realistically as possible. The application in live streaming opens endless possibilities for the user in terms of character and content.

Research Questions/topics

For this reason, I would like to deal with the theoretical as well as practical creation of a virtual character, from conception and design of the appearance to real-time animation during a stream.
The main topic of my master’s thesis will be the comparison of perception in terms of anonymity and media presence between Europe, Asia, and America.
How differently do streaming and video consumers react to virtual characters in videos instead of real people? I am concerned with the question of media perception and reaction to non-real streamers. I will also address the question of whether there are certain restrictions or advantages that V-Tubers enjoy due to their anonymity on the internet compared to “normal” streamers or whether it ultimately just depends on the habits of viewers from different cultural backgrounds.

Other possible questions I will address are what exactly a V-Tuber is, as well as the answers to the questions of where the term “V-Tuber” comes from and what streaming contexts of this type of content creator refer to.
Another sub-topic that I will address in the course of my work are the elements of storytelling, such as the background story and personal style of a character, character traits and appearance, as well as his or her talents, and the technical aspect. Interesting here is the use of various tracking devices and associated software.

Due to the fact that I will touch on more and more topics during my research, this pool of questions will constantly change from draft to draft of the exposé until I have finally filtered out the core questions of my work. Therefore more research questions could be:
Why is the amount of Austrian Vtuber lower than in American or Asian Countries?
Why is it so rare that we see Animated Characters acting in real life?
How much will the Vtuber landscape change in Austria in the next 20 years?
How will Influcener look like in the next years in terms of virtual character use?
How will 2D- and 3D character design for avatars influence the urban streaming scene?
In what way will Designer contribute to the development of the next generation of Vtuber?
How high is the benefit of anonymity that streamer get from using a virtual avatar?

Less relevant for me is the topic of self-promotion, sources of income and business related content.

Research method

My main research methods will be literature, interviews and questionnaires.
To pursue my research topic, I will write an introductory theory section on the topic and demonstrate it with a practical 2D or 3D character as a work piece.
To implement this, I will use literature on live streaming, as well as character creation and motion capture. I also want to do some interviews with Austrian vtubers to get a deeper insight into the subject and what it means to perform as a vtuber in Austria (content, character, audience feedback).
In the second part of my work, I would like to test this character in an online published video and a live stream and subsequently conduct a survey of test persons to find out how this form of online entertainment is received. Ideally, I will be able to compare the statements of viewers from different nations and, based on this, draw a conclusion about the differences in perception.
To be able to do a qualitative survey, I will send out pre-designed questionnaires about streaming perception and expectations. I may also limit the survey to reactions to the pre-recorded video to generate a larger number of participants.
The main questions of the survey will relate to the subjective feelings and perceptions of the respondents. But also, the cultural background and data such as age, gender and origin will be part of the data collection.

Expectation forecast

I expect a distinctive difference between the perception the viewers of all three continents subjects.  In my opinion, European participants will be more averse to the concept of V-tubing and American and Asian participants will show greater interest. I base this assumption on the fact that, for example the “personality factor” plays a big role in Austria or Germany. Virtual characters seem too impersonal and robotic. This “modernization” seems to be a bigger aspect in Asian countries such as Japan or big cities in America.

Next steps

  • Creating a first interview draft
  • Defining main research questions
  • Structure master thesis
  • search for literature

Kooperation und Kompetition im Videospiel – Eine Kurzanalyse

Die Masterarbeit von Tim Wulf beschäftigt sich mit einer Frage, die sich für mein Thema als Interessant herausstellen könnte: Wie wirkt sich kompetitives und kooperatives Spielen auf menschliche Emotionen außerhalb des Spiele-Kontext aus? (1)

Hypothese 1: Beim kooperativen Videospiel wird das Bedürfnis nach Verbundenheit stärker befriedigt als beim kompetitiven Spiel. […]

Hypothese 2: Beim erfolgreichen Videospiel wird das Bedürfnis nach Kompetenz stärker befriedigt als beim erfolglosen Spiel. […]

Hypothese 3: Beim kooperativen Videospiel wird die Einsamkeit stärker reguliert als beim kompetitiven Spiel. […]

Hypothese 4: Die Erfüllung des Bedürfnisses nach sozialer Verbundenheit hat einen positiven Effekt auf den Status der Einsamkeit nach dem Spiel.

Wulf 2017. S. 56f.

Wulf arbeitet weitere und tiefergehende Hypothesen aus, die ich jedoch an dieser Stelle nicht auflisten werde. Wichtiger erscheinen mir die Ergebnisse seiner empirischen Studie.

Das Gefühl der Verbundenheit stellt sich als ein signifikanter Einflussfaktor auf die Stimmung heraus. Die Regulation der Einsamkeit kann allerdings sowohl mit kooperativem als auch kompetitivem Spielen erreicht werden, da das gemeinsame Spielen eines Spiels den Wettkampfgedanken in den Hintergrund rückt. Das kooperativ Spielen jedoch führt zu mehr Verbundenheit. Indirekt hat es somit einen positiven Einfluss auf die Einsamkeitsregulation. (1) In diesem Sinne scheint das kooperative Spielen als geeignetere Interdependenz für ein Videospiel in der Therapie.

Weiterhin ist wichtig, dass das Bedürfnis nach Kompetenz besser erfüllt wurde, wenn der Spieler einen Sieg verzeichnete. Allerdings wurde die Studie nur mithilfe des Spiels Mario Kart Wii durchgeführt (1), welches den Sieg über das Rennen als eindeutiges Ziel hat. Bei einem Spiel ohne den Zielgedanken eines Sieges, könnte dieser Punkt demnach unwichtig werden. Dies gilt es zu untersuchen.

Das Spielvergnügen hängt von der Bedürfnisbefriedigung und der Einsamkeitsreduktion ab. Dementsprechend wäre ein Spiel, welches kooperativ spielbar ist, mit mehr Vergnügen verknüpft (1)
Ich vermute, dass das Spielvergnügen unerlässlich für den Erfolg der Emotionsregulierung auf lange Sicht ist.

Die Studie basiert auf der Annahme, dass ein Spiel im Mehrspielermodus gespielt wird. Für ein Singleplayer-Spiel sind die Hypothesen und die Ergebnisse der Studie nicht anwendbar. In meiner Masterarbeit möchte ich mich jedoch damit beschäftigen, ob ein Spiel im Kontext einer aktiven Psychotherapie-Sitzung, also in Begleitung des/der Therapeut*in, auf die Emotionen wirken kann. Zudem stellt sich die Frage, ob es auch im Alltagssetting gespielt eine Wirkung erzeugt. Daher ist die Analyse von Wulfs Masterarbeit nur zum Teil hilfreich. Allerdings kann ich den Aspekt, dass Kooperation im Videospiel die negative Emotion Einsamkeit beeinflusst gut nutzen. Zudem sind mir durch das Lesen der Arbeit Fragen eingefallen, die ich bei meiner eigenen Arbeit stellen möchte.

Diese lauten:

  • Welche Emotionen sollen durch mein Spiel reguliert werden?
  • Welche Rolle erfüllt der/die Therapeut*in im Spiel? Wie kann diese Rolle im Alltag ersetzt/ausgelassen werden?
  • Welches Ziel wird benötigt, um die Bedürfnisse zu befriedigen?
  • Ist die Erfüllung der Bedürfnisse durch ein Spiel geschlechtsabhängig?
  • Ist das Spielvergnügen wichtig für eine erfolgreiche Emotionsregulierung mit langfristiger Auswirkung?
  • Welches Spielgenre eignet sich am besten für meine Zwecke?

Quellen:
(1) Wulf, Tim: Kooperation und Kompetition im Videospiel . der Einfluss sozialer Interdependenz auf Stimmung und prosoziales Verhalten. Wiesbaden: Springer 2017.

Social Media: Fake News filtern mit Künstlicher Intelligenz?!

Soziale Medien und Fake News gehen mittlerweile leider Hand in Hand. Viele Menschen lassen sich davon verwirren, werden verunsichert und zweifeln an ihren bisherigen Ansichten. Ein aktueller wissenschaftlicher Artikel zeigt, dass Falschinformationen mittlerweile mittels Künstlicher Intelligenz erkannt werden können. Wie das funktionieren soll, wird in diesem Blogpost erklärt. 

Plattformen wie Instagram, Facebook oder TikTok sind schon lange kein vorübergehender Trend mehr, Social Media ist in längst in der Gesellschaft angekommen. Verständlich, denn sie haben auch viel Positives, ich persönlich bin ziemlich aktiv und poste regelmäßig auf Instagram. Grundsätzlich klingt zum Beispiel der Gedanke der freien Meinungsäußerung für alle durchaus positiv und vor allem sehr demokratisch. 

Vor 15 Jahren hatten nur wenige Personengruppen, zum Beispiel Journalisten oder Politiker, die Möglichkeit, ihre Ansichten mit dieser Breitenwirksamkeit zu verbreiten. Nun kann jeder user mit seinem Post „viral“ gehen und von jetzt auf gleich tausende Menschen damit erreichen. Dieser Post wird dann hundertfach geteilt und kommentiert, am Ende weiß man oft nicht mehr, woher der Beitrag eigentlich kommt oder wer ihn überhaupt geschrieben hat. Der Algorithmus hinter den Sozialen Netzwerken erstellt je nach Nutzungsgewohnheiten ein genaues Interessensprofil jedes Users. Das Ziel ist es, die User möglichst lange auf der Plattform zu halten, um möglichst viel Werbung ausspielen zu können. Dafür wird jede Bewegung festgehalten: Alle Gefällt-Mir-Angaben, jeder Kommentar und sogar die Zeit, wie lange einzelne Beiträge betrachtet werden. Basierend auf diesen Informationen bekommen User exakt auf sie zugeschnittene Beiträge angezeigt, mit denen ihre Meinung meistens übereinstimmt. Das wiederum führt zu den bekannten Filterbubbles, Echo chambers oder wie auch immer man sie nennen mag. An sich auch noch in Ordnung, wenn man bedenkt, dass sich die Sozialen Medien ja irgendwie finanzieren müssen. 

Problematisch wird es dann, wenn sich Falschinformationen verbreiten, sie sozusagen „viral“ gehen. Währen der Corona-Pandemie hat sich diese Problematik noch verstärkt, viele Menschen haben das Vertrauen in „Mainstream-Medien“ verloren. Sie glauben nichts mehr, was von Regierung oder Qualitätsmedien gesagt wird, sondern setzen auf dubiose Quellen, bei denen Herkunft und Motiv unklar sind. Es gibt Experimente, wo User extra auf diese Art von Inhalten geklickt haben. Danach wurden ihnen immer mehr davon angezeigt und innerhalb weniger Tage befanden sie sich in einer Desinformations-Bubble. 

Was kann man dagegen tun?

Wichtig ist, Informationen kritisch zu hinterfragen. Dabei ist aber Information nicht gleich Information – wenn ich zum Beispiel etwas in der Zeit im Bild sehe, gehe ich davon aus, dass es stimmt. Stoße ich auf einen Facebook-Beitrag, prüfe ich natürlich kritischer, ob daran etwas nicht stimmen könnte. 

Im Rahmen einer anderen Lehrveranstaltung bin ich auf einen spannenden Artikel von Shubhangi Rastogi und Divya Bansal gestoßen. Die beiden schreiben, dass Falschinformationen mithilfe von Künstlicher Intelligenz entdeckt werden können. Genauer gesagt, lassen sich Beiträge in die Kategorien „echt“, „Falschinformation“ und „Satire“ unterteilen. Das funktioniert durch einen interdisziplinären Ansatz: Zum einen verwenden die Autoren von Fake News oft einen anderen Schreibstil, um ihr Publikum zu ködern. Es ist anscheinend möglich, die Absicht der Autoren festzustellen. Der Schreibstil alleine reicht allerdings noch nicht aus. Deshalb werden zusätzlich werden noch weitere 30 Faktoren miteinbezogen, die in Unterkategorien unterteil werden:

  • Regelmäßigkeit
  • Häufigkeit
  • Schwierigkeitsgrad
  • Unsicherheit
  • Sentiment/Emotionalität
  • Subjektivität
  • Diversität
  • Informalität
  • Popularität

Die Autoren dieses Artikel nennen vier Aspekte des Fake News – Filterns: „Knowledge-based, Style-based, Propagation-based und Source-based“. Wissensbasierte Methoden nutzen klassische Fact-checks, um den Wahrheitsgehalt herauszufinden. Stilbasierte Methoden analysieren die Intention des Autors, zum Beispiel anhand der Emotionalität. Fake News – Beiträge verhalten sich anders als richtige Nachrichten – das lässt sich anhand ihrer Verbreitung feststellen. Fake News verbreiten sich schneller und werden populärer als Fakten. Zusätzlich wird ein Background-Check des Autors durchgeführt, um dessen Glaubwürdigkeit festzustellen. 

Die Ergebnisse zeigen, dass diese Art der Fehlinformations-Filter einen Großteil der Beiträge richtig einordnen kann. Diese Studie wurde hauptsächlich auf Twitter durchgeführt, die Autoren planen allerdings, ihre Forschung auf andere Plattformen auszuweiten und am Ende einen automatischen, Domain-übergreifenden Fake News-Filter zu entwickeln. 

Vorbereitungen von Schauspielern für filmische Horrorwerke anhand des Beispiels Evan Peters als Jeffrey Dahmer in „Dahmer- Monster: Die Geschichte von Jeffrey Dahmer“

Die diesjährig erschienene Netflix-Serie „Dahmer-Monster: Die Geschichte von Jeffrey Dahmer“ handelt vom amerikanischen Serienmörder Jeffrey Dahmer, der von 1978 bis 1991 Männer tötete und zum Teil aß. Die Sicht der Opfer und der Menschen, die versucht haben seine Taten zu verhindern, stehen im Mittelpunkt der Geschichte. Die Serie gehört den Genres True-Crime, Drama, Thriller und Horror an. (1)

Sie zählt mit über 856 Millionen abgerufenen Stunden in den ersten vier Wochen nach Start, zu den meistgestreamten Serien auf der Video-On-Demand Plattform Netflix. (2)

Die Hauptrolle des Serienkillers spielte der US-amerikanische Darsteller Evan Peters, der bekannt für seine Rollen in „American Horror Story“ und „X-Men“ ist (3). Seine Rollen waren bisher meist bösartig. (4)

Zur Zeit ist Evan Peters in den Medien aufgrund seiner perfektionistischen Vorbereitungen und Darstellung der Rolle des Kannibalen sowie der kontroversen Aspekte, die die Faszination von True Crime mit sich bringt, äußerst präsent. (5)

Die Vorbereitungen auf die Rolle und dem Dreh der Serie dauerten insgesamt 10 Monate. Peters studierte Dahmers Körperbewegungen sowie Dialekt und kleidete sich wie er. (6)

Außerdem befasste er sich mit den Tiefen des Charakters des damaligen Mörders mithilfe von einem Polizeibericht, Biografien und einer Aufnahme eines Gesprächs mit einem Psychologen. Dies half ihm, die Art und Denkweise Dahmers besser zu verstehen. Doch die psychische Dunkelheit, die den Schauspieler einige Zeit umgab, war für ihn nicht leicht zu ertragen. (7)


(1) Vgl. Movie Pilot (o. D.): Dahmer- Monster: Die Geschichte von Jeffrey Dahmer, in: https://www.moviepilot.de, unter: https://www.moviepilot.de/serie/monster-the-jeffrey-dahmer-story, (abgerufen am 02.11.2022)

(2) Vgl. Becker, Nina (2022): “Dahmer”: So heftig hat sich Evan Peters auf seine Rolle als Serienkiller vorbereitet, in: https://www.filmstarts.de, unter: https://www.filmstarts.de/nachrichten/1000001415.html (abgerufen am 04.11.22)

(3) Vgl. Movie Pilot (o. D.): Evan Peters, in: https://www.moviepilot.de, unter: https://www.moviepilot.de/people/evan-peters, (abgerufen am 02.11.22)

(4) Vgl. Netflix News Staff (2022): Fans reagieren darauf, dass Evan Peters Jeffrey Dahmer auf Netflix spielt, sehen Sie sich die Rezensionen an, in: https://netflix-news.atsit.in, unter: https://netflix-news.atsit.in/de/?p=116207 (abgerufen am 04.11.22)

(5) Vgl. Google (o. D.): Evan Peters News, in https://www.google.com, unter: https://www.google.com/search q=evan+peters&client=safari&rls=en&sxsrf=ALiCzsaNOzes8g7ZGMe1SMa24o9atW3TDw:1667642238612&source=lnms&tbm=nws&sa=X&ved=2ahUKEwjwrvq545b7AhWmQfEDHeoYANUQ_AUoAnoECAIQBA&biw=1792&bih=1017&dpr=2 (abgerufen am 05.11.22)

(6) Vgl. Kurier (01.11.22):”Dahmer”: Evan Peters’ körperliche Strapazen für Serienmörder-Rolle, in: https://kurier.at, unter: https://kurier.at/stars/dahmer-evan-peters-koerperliche-strapazen-vorbereitung-serienmoerder-rolle/402201432 (abgerufen am 04.11.22)

(7) Vgl. Netflix (2022): DAHMER – Monster: The Jeffrey Dahmer Story | Evan Peters On The Complexity Of Playing Dahmer in: https://www.youtube.com, unter: https://www.youtube.com/watch?v=pvQP-85ADRE (abgerufen am 04.11.22)

Evans Peters Fans äußerten sich bereits zu seiner außerordentlichen schauspielerischen Leistung und machen sich Sorgen um seine Psyche. Sie begründen es damit, dass er die Rolle des Killers viel zu gut darstellt, sodass es an ihm nicht spurlos vorbei gehen kann. (8)

Für mich stellt sich die Frage, ob die Schauspielrolle und vor allem die damit verbundene lange Zeitspanne, ihn in seinem Alltag begleitet. Falls es dazu Neuigkeiten gibt, werde ich diesen Blogpost updaten oder gegebenenfalls einen neuen erstellen. Genauere Angaben zur mentalen Gesundheit Peter’s gibt es zur Zeit nicht.

Zusammenfassend war die Rolle des Serienkillers Dahmer keine einfache Angelegenheit und verlangte einiges von Evan Peters ab. Trotz der Düsterheit, die sie umgibt, zeigte Peters, welche erstaunliche Leistung in ihm steckt, in spezielle und schwierige Rollen zu schlüpfen. Zudem schaffte er einen erneuten positiven Karrieresprung.

Für mich ist dieser Blogeintrag der Start für mehr Recherchen über die Arbeit von Schauspielern und ihren Umgang mit Rollen in Horrorfilmen (oder Serien) und Thrillern. Ich möchte mehr darüber erfahren, inwiefern sie sich in eine andere Person bzw. fiktiven Charakter hineinversetzen und „leben“ können. Großes Interesse habe ich dabei nach den unmittelbaren Folgen auf deren Psyche. 

links: Evan Peters || rechts: Jeffrey Dahmer

(8) Vgl. Chakraborty, Sourav (2022): “Praying for Evan Peters mental health”: Fans concerned as actor delivers intense portrayal of Milwaukee cannibal Jeffrey Dahmer in Netflix series, in: https://www.sportskeeda.com/, unter: https://www.sportskeeda.com/pop-culture/praying-evan-peters-mental-health-fans-concerned-actor-delivers-intense-portrayal-milwaukee-cannibal-jeffrey-dahmer-netflix-series (abgerufen am 04.11.22)

MIDI BLE – the best way to transmit data?

After setting the main objectives for the third semester, the first issue that was tackled was the question of how to transmit the data. During the project, quite a few types of data transmissions have been tried out including USB-MIDI, only MIDI and, most recently, OSC.

As already mentioned in blog post #3, data transmission via OSC could be achieved using the ESP32’s WiFi capabilities. This means of communication comes with the definite advantage of being wireless, which was not possible with the MIDI setup from last semester.

However, my supervisor suggested trying out yet another possibility: MIDI via BLE (Bluetooth low energy). So basically, it sends MIDI over Bluetooth. Luckily, the ESP32 also has Bluetooth capabilities so it was possible to start experimenting immediately.

Using the MIDI-BLE library, a code was sketched that could transmit sensor data via MIDI via Bluetooth. Unfortunately, two additional, but free programs are necessary for MIDI BLE to work with Windows. One is called loopMidi which opens a specific MIDI port and the other program is called MIDIberry which lets you route the incoming MIDI signals to the aforementioned MIDI port. This MIDI port can then be selected as a MIDI input source in a DAW (I tested it with Cubase).

Apart from also being wireless, the MIDI BLE data transmission also comes with the additional advantage that it basically sends MIDI signals which work in every DAW almost straightaway while OSC support is not always given or that easy to use. For this very reason, it was decided to drop the OSC possibility for now and focus on MIDI BLE.

In Cubase, one can fully customize the parameter controls via MIDI. So, using Cubase, the “Solo Mode” that was previously written in a Pure Data sketch now works completely without the need for Pure Data since the effects that are turned on or off can now be directly selected in the DAW. This brings the project one more step closer to its completion.

However, while working in Cubase, the current solution does not (yet) work in Reaper for example. This is due to the fact that Reaper only uses the Learn MIDI function to map incoming MIDI CC messages to parameter controls. If two different CC messages are sent at the same time, meant for different effect types, it only recognizes one. It is then not possible to manually input another CC value to control another effect parameter as it is possible in the fully customizable Cubase.

As the two setups should be accessible without too much hassle for most guitarists, it must be established if other DAWs have the possibility of manually mapping MIDI CC values to parameter controls in order to ensure that this method, using MIDI BLE, works for at least the major DAW brands like Pro Tools, Ableton, Logic Pro, etc. if not for Reaper.