Characteristics of each interview according to Haller (2001)
The answer may be refused without negative consequences.
There is a fixed distribution of roles between the questioner and the answerer.
The questioner follows an information goal, which he wants to find out through his questions.
The answers of the interviewee are bound to the questions and can be of a factual as well as a private nature.
There are different perceptions between the questioner and the answerer, as both individuals pursue different goals.1
The 3 journalistic interview types according to Haller (2001)
The first tool I would like to use to get more information about V-“Tubing in Austria” is the research interview. In order to gain a realistic insight into the creation of a virtual Youtuber, I will use the research interview to talk to some players in the domestic industry. According to Haller (2001), interviews of this kind are primarily about obtaining information in the course of a research, as well as verifying it. Less decisive are personal characteristics and presentation of the person.2 In the case of my Master’s thesis, the interviewees will be Austrian vtubers, because I want to record the entire process of character creation of their virtual avatars. The objective is to analyse both the factual aspect and the personal relationship to the artificial figures and to prepare them step by step in order to make it easier for future designers, influencers or online streamers (to name just a few of the players in the vtuber environment) to enter the industry.
Furthermore, I am interested in the interviewees’ opinions on topics of self-perception on the internet, as well as their decision to remain anonymous, or the extent to which they do so. This leads me to the second type of interview according to Haller (2001), which I would like to include in my survey – the reportage interview. Since VTubers are also artists in a certain way, I am particularly interested in the personal relationship to the virtual avatar. Self-expression is in the foreground and is not subject to any compulsion for information. Haller (2001) writes about directing the focus on personality traits of the interviewee and acting more as a moderator. This way of gathering information also gives an overall impression of the interviewee and the setting in which this person is thematically situated.3
I would like to do without the interview as a form of presentation in my Master’s thesis, as it does not seem useful for researching the topic and getting to know individual protagonists.
Relevant interview subjects and objectives of my master thesis will address the following topics:
Part 1 – About the person + practice
Personal aspect of the interviewee on the topic (background, role models, access…)
Role distribution of design, implementation and use of the concept of the own virtual character (visual and acoustic appearance, character creation, content of the performance)
Background information on the creation process of the own virtual character (in case of self-creation of the avatar, otherwise further information on key persons)
Common means and resources of domestic representatives for the creation of a 2D or 3D model
Creative content of online performances and common platforms of live broadcasts
Creation costs and turnover of an avatar for protagonists (designers, artists, performers)
Part 2 – intercultural perception
Personal attitude to the topic of anonymity in real life and online (opinion on the advantages and disadvantages of using a virtual avatar online).
Possible adaptation concepts in the already existing media landscape in Austria
Self-perception of the own art figure in Austria
Perception of the current Austrian Vtuber scene (popularity, effect on outsiders, efficiency, …)
Hypotheses on reasons for the different popularity of European vtubers compared to performers abroad (Asia, Central America, …)
Personal perception of animated content in the public media environment (television, social media, streaming, etc.)
Prognosis of a possible future for vtubers in Austria/personal prognosis (increase in the relevance of virtual influencers)
Hypotheses on future occupational fields and career opportunities in the design industry (The abandonment of character design for vtubers as a market niche)
As a further step, I plan to create a survey on the perception of Vtubers in Austria. This should happen at the same time as the debut of my own, self-created virtual character, in order to get a direct reaction from a larger audience. I will create a Youtube video and analyse the perception of the performance for relevant aspects in the setting of a questionnaire online.
1 cf. Haller 2001, p. 129.
2 cf. ebda, p. 135f.
3 cf. ebda, p. 138f.
Next steps:
Creating a first interview draft
Defining main research questions
Structure master thesis
search for literature
Literature
Haller, Michael (Hrsg.) et al.: Das Interview. Ein Handbuch für Journalisten. 3. ed. Konstanz: UVK 2001 (= Praktischer Journalismus, 6)
The term V-Tuber stands for “Virtual Youtuber” and was created in 2016 by an artificial intelligence called Kizuna Ai. With V-Tubing, a 2D or 3D avatar is shown instead of one’s own face, which follows the movements of the streamer in real time and thus creates the illusion of a non-real person. Using motion, face, hand and eye tracking and special software, entire streaming performances can be performed in complete anonymity and still generate large audiences.
Current relevance
The digitalization of the entertainment industry is progressing steadily and is basically unstoppable, as in most sectors. With the Corona crisis in 2019, the entire world had to switch to online mode, which led, among other things, to the establishment of a new branch of entertainers. However, this constant accessibility and permanent “being ON”, has also led to issues such as “anonymity on the internet” and “media perception” taking on an even more significant status. Various video and streaming platforms have shown that any kind of recording once published on the web can hardly be removed again. It can be concluded that the internet provides a new generation of entertainers with the biggest stage in the world. At the same time, however, it has no regard for privacy and consequences of any kind for missteps. At this point, virtual streaming circumvents many of these problems.
Personal perspective
In my studies, I deal with new media of our time. For me, V-Tubing is like a kind of real anime and thus links my interest in moving images and my penchant for Japanese pop culture. But it is much more than Japanese-style animated illustrations, it offers the possibility of gaining popularity on the internet while ensuring anonymity and privacy on the net. What seems to sound paradoxical is, in my opinion, a future model for entertainers of all kinds. Tracking is already used in many live film and game productions to generate body movements as naturally and realistically as possible. The application in live streaming opens endless possibilities for the user in terms of character and content.
Research Questions/topics
For this reason, I would like to deal with the theoretical as well as practical creation of a virtual character, from conception and design of the appearance to real-time animation during a stream. The main topic of my master’s thesis will be the comparison of perception in terms of anonymity and media presence between Europe, Asia, and America. How differently do streaming and video consumers react to virtual characters in videos instead of real people? I am concerned with the question of media perception and reaction to non-real streamers. I will also address the question of whether there are certain restrictions or advantages that V-Tubers enjoy due to their anonymity on the internet compared to “normal” streamers or whether it ultimately just depends on the habits of viewers from different cultural backgrounds.
Other possible questions I will address are what exactly a V-Tuber is, as well as the answers to the questions of where the term “V-Tuber” comes from and what streaming contexts of this type of content creator refer to. Another sub-topic that I will address in the course of my work are the elements of storytelling, such as the background story and personal style of a character, character traits and appearance, as well as his or her talents, and the technical aspect. Interesting here is the use of various tracking devices and associated software.
Due to the fact that I will touch on more and more topics during my research, this pool of questions will constantly change from draft to draft of the exposé until I have finally filtered out the core questions of my work. Therefore more research questions could be: Why is the amount of Austrian Vtuber lower than in American or Asian Countries? Why is it so rare that we see Animated Characters acting in real life? How much will the Vtuber landscape change in Austria in the next 20 years? How will Influcener look like in the next years in terms of virtual character use? How will 2D- and 3D character design for avatars influence the urban streaming scene? In what way will Designer contribute to the development of the next generation of Vtuber? How high is the benefit of anonymity that streamer get from using a virtual avatar?
Less relevant for me is the topic of self-promotion, sources of income and business related content.
Research method
My main research methods will be literature, interviews and questionnaires. To pursue my research topic, I will write an introductory theory section on the topic and demonstrate it with a practical 2D or 3D character as a work piece. To implement this, I will use literature on live streaming, as well as character creation and motion capture. I also want to do some interviews with Austrian vtubers to get a deeper insight into the subject and what it means to perform as a vtuber in Austria (content, character, audience feedback). In the second part of my work, I would like to test this character in an online published video and a live stream and subsequently conduct a survey of test persons to find out how this form of online entertainment is received. Ideally, I will be able to compare the statements of viewers from different nations and, based on this, draw a conclusion about the differences in perception. To be able to do a qualitative survey, I will send out pre-designed questionnaires about streaming perception and expectations. I may also limit the survey to reactions to the pre-recorded video to generate a larger number of participants. The main questions of the survey will relate to the subjective feelings and perceptions of the respondents. But also, the cultural background and data such as age, gender and origin will be part of the data collection.
Expectation forecast
I expect a distinctive difference between the perception the viewers of all three continents subjects. In my opinion, European participants will be more averse to the concept of V-tubing and American and Asian participants will show greater interest. I base this assumption on the fact that, for example the “personality factor” plays a big role in Austria or Germany. Virtual characters seem too impersonal and robotic. This “modernization” seems to be a bigger aspect in Asian countries such as Japan or big cities in America.
Neue Technologien wie RealTime-graphics und MoCap-Technologien führen seit den 2010er Jahren zu einem immer stärker anwachsenden Auftreten von virtuellen Streamern – Vtubern. In Anlehnung an die traditionelle Influencer-Industrie sind virtuelle Menschen zu Prominenten geworden. Da sich das Ökosystem für Vtuber – zumindest im Europäischen Raum – noch in der Anfangsphase befindet, gibt es noch keine standardisierte Allzweck-Anleitung. Daraus kann man schließen, dass jede Umsetzung unterschiedliche auf unterschiedlichen Plattformen und in verschiedenen Formaten erfolgt. Je nach Nutzer – ob Einzelperson oder Agentur – variieren die Kosten, die Qualität und der Entwurfsprozess erheblich. Um einen virtuellen Charakter zum Leben erwecken zu können, müssen sich Content Creator also mit diversen Fragestellungen rund um Design, Hardware, Software und beschäftigen.
Basics
Das Set
Essenzieller Bestandteil im Inventar eines Vtubers ist eine Webcam oder Kamera mit hoher Auflösung, um Gesichtsbewegungen und Mimik zu erkennen. Ein Mikrofon, eine gute Gesichtsbeleuchtung und ein adequater PC oder Laptop gehören ebenfalls zu den Must-Haves des Jobs. Als Grundvoraussetzung sollten die Kamera eine Auflösung von mindestens 720p und 30 FPS haben. Viele Vtuber verwenden jedoch bereits iPhones anstelle einer Webcam oder kombinieren diese miteinander, um Gesichtsausdrücke besser erkennen zu können.
Für den Ton können entweder spezielle USB-Mikrofone oder ein Gaming-Headsets mit eingebautem Mikrofon verwenden werden. Im Idealfall werden vollwertige XLR-Mikrofone genutzt, da diese besser funktionieren und eine fantastische Audioqualität bieten.
Viel Licht ist wichtig, damit Kamera und Software leichter erkennen können, ob der Vtuber gerade lacht, die Stirn runzelt oder den Mund bewegt. Dazu reicht bei Tag ein heller Standort am Fenster, bei schlechteren Lichtverhältnissen sollten Lampen so arrangiert werden, dass sie das Set ausreichend beleuchten. Marken wie Elgato und Razer bieten spezielle Streaming-Lichter an, die mit den Webcams gekoppelt werden können.
Es macht durchaus Sinn, vor Beginn eines Streams die Internetverbindung zu überprüfen, da es ansonsten während der Live-Auftritte zu ungewollten Pannen kommen kann. Nach Empfehlung von Streamingplattformen wie Twitch sollten mindestens 6 Mbps für 1080p in hoher Qualität bei 60 FPS zur Verfügung stehen. Wenn diese Anforderungen nicht erreicht werden können, leidet die Streamingqualität darunter, jedoch sind 3Mbps in einer 720p-Auflösung bei 30 FPS im notfalls noch im Bereich des Vertretbaren.
Bei Streams mit hoher Bildrate, wie beispielsweise Ego-Shooter-Games, wird eine Uploadgeschwindigkeit von 10-15Mbit/s und ein Bildschirm mit hoher Bildwiederholungsfrequenz benötigt. Bei niedrigeren Internetgeschwindigkeiten und keiner Möglichkeit zur Aufrüstung, ist Live-Streaming in einer ansehnlichen Qualität nicht möglich.
Standcomputer oder Laptop
Prinzipiell gilt, mehr ist besser, besonders wenn es um RAM und Prozessoren geht. Die Grafikleistung ist nur dann von größerer Relevanz, wenn Spiele gestreamt werden. Jedoch sind hierbei GPU-Empfehlungen der einzelnen Spieltitel zu beachten. Ob PC oder Laptop hängt von der Leistungsfähigkeit ab. Ein hochwertiges Gerät steigert den qualitätiven Output des Streams, jedoch gibt es auch preiswertere Alternativen. Die Mindestanforderungen für einen Live-Stream:
Prozessor: Intel i5-4670 oder AMD FX-8350
Arbeitsspeicher: 8 GB DDR3
Grafikkarte: Nividia Geforce 960 oder AMD Radeon R9 280
Betriebssystem: Windwos 7
Bei vorgefertigten Systemen oder wenn der PC selbst gebaut wird, ist auf folgende Anforderungen zu achten:
Prozessor: Intel i5-9600k oder AMD Ryzen 5 3600
Arbeitsspeicher: 16GB DDR4
Grafikkarte: Nivada Geforce GTX 1080 Ti oder AMD Radeon 5700 XT
Betriebssystem: Windows 10
Einige Streamer gehen noch einen Schritt weiter und verwenden zwei Computer oder Laptops, um die Arbeitslast zu bewältigen – einen, um ein Spiel auszuführen und den anderen, um die eigentlichen Streaming-Anforderungen zu erfüllen.
Als guten Ausgangspunkt für angehende Vtuber ohne Vorkenntnisse im Design-Bereich und mit geringem Budget eignet sich VRoid-Studio oder Live2D . Ein großer Vorteil dieser Tools ist, dass sie bereits “vorgeriggte” Basismodelle anbieten, welche sich hervorragend für erste Probeversuche eignen und jederzeit durch Details individuell angepasst werden können. Die Software ist zudem kostenlos. Auch Websites wie TurboSuid, Sketchfab und CGTrader bieten kostengünstigere 3D-Modelle zum Download an.
Hat man als Content Creator viel Zeit und kreatives Talent, ist es möglich mit Software-Programmen wie Blender, Maya oder Zbrush einen völlig individuellen Charakter zu entwerfen. Auch von Unreal Engine gibt es Anwendungen wie Meta Human Creator, um digitale Menschen mit hoher Wiedergabetreue zu erstellen. Es gibt auch Optionen für die Arbeit mit Apps wie ReadyPlayerMe oder Wolf3D. Allerdings sind hierfür gute 3D-Kenntnisse erforderlich.
Das fertige Modell muss dann noch “geriggt” werden, sprich mit einem digitalen Skelett versehen werden, um menschliche Bewegungen so realistisch wie möglich imitieren zu können. Dies kann entweder direkt in Blender oder für 2D-Modelle auch beispielsweise in Live2D Cubism erledigt werden. Für die VRM-Konvertierung benötigt man eine 3D-Animationssoftware wie Unreal, Unity 3D oder iClone, jedoch finden sich Tutorials auf Youtube, wie beispielsweise das folgende für eine Formatierung in Unity:
Eine weitere Alternative zu den kostenlosen 2D- und 3D-Modellen, ist die Möglichkeit den Avatar bei einem Künstler in Auftrag zu geben. Es ist einfacher und geht schneller, als sich selbst mit der Charakterentwicklung und 2D- oder 3D-Umsetzung beschäftigen zu müssen. Allerdings ist diese Option keinesfalls billig. Auf Websiten wie Fiverr und Etsy geht die Preisspanne von 50$ für einfache Avatare, bis hin zu Beträgen im sechsstelligen Bereich für hochwertige und detailgetreue Modelle.
Der Großteil der Vtuber-Einsteiger nutzt Anwendungen von Steam wie FaceRig, Animaze, Wakaru, 3Tene und Vtube Studio, da diese für alles was man so an einfachem Mocap (=Motion Capture, Bewegungsverfolgung) braucht, bieten können. Es gibt aber auch einige beliebte virtuelle Streamer wie Code Miko, die Technologien aus der Videospiel- und Filmindustrie verwenden, wie z. B. 30.000-Dollar-Motion-Capture-Anzüge von Xsens.
Eine weitere beliebte Motion-Tracking Software ist Luppet. Als eine der größten Anwendungen, die von Vtubern verwendet wird, bietet es ein sehr sauberes, genaues Tracking und ist in mehreren Sprachen verfügbar. Allerdings ist es nicht auf Steam erhältlich, sondern nur auf einer japanischsprachigen Website und kostet um die 50$.
Inzwischen ist es außerdem möglich, mithilfe von iPhones mit Infrarot-Tiefenkamera für Face ID (seit der Veröffentlichung des iPhone X, 2017) ein genaueres Gesichts-MoCap zu erhalten als mit herkömmlichen Webcams.
Die Ausrüstung für die Gesichtserfassung wird jedoch immer leichter und einfacher der breiten Masse zugänglich gemacht. Einige Umsetzungen erfordern zwar immer noch Marker im Gesicht und das Tragen eines Helms mit einer auftragsbezogenen Kamera, aber der Markt scheint sich in die andere Richtung zu bewegen – er unterstützt normale Streamer-Setups, die 2D-Webcams verwenden.
Wakaru und Hitogata sind gute Software-Beispiele dafür. Diese beiden kostenlosen Programme bieten eine frei verfügbare Gesichtsverfolgungsfunktion, die leicht in einen 3D-Charakter integriert werden kann. Aufgrund des offenen Algorithmus ist die Verfolgungsqualität nicht die beste auf dem Markt, aber die Bequemlichkeit überwiegt die Nachteile, zumindest für VTuber-Anfänger. Qualitativ höherwertigere, kostenpflichtigere Webcam-Lösungen sind Hyprface SDK und Facerig. Hyprface ist besonders nützlich, um vorgefertigte 3D-Charaktermodelle zu integrieren.
Um die Position der Hände zu verfolgen, benötigen virtuelle Streamer ein optisches Handverfolgungsmodul, auch Leap Motion, genannt. Dieses kann Bewegungen viel genauer erfassen als iPhones oder Webcams und wird oft in Verbindung mit weiterer Ausrüstung verwendet, um Modelle noch realistischer animieren zu können.
Schlussendlich wird der Avatar zum ersten Mal dem Publikum auf Streaming-Plattformen wie Twitch oder Youtube vorgestellt. Unabhängig vom narrativen Inhalt und dem eventuellen Skript, gibt es zunächst noch einige Import-Hinweise zu beachten:
Es gibt zwei Möglichkeiten, das Modell in einem Stream zu übertragen, abhängig von der Anwendung, die für das Mocap des Avatars verwendet wird. Auf der Plattform Steam kann immer nur eine Anwendung ausgeführt werden. Sollte der Content Creator also keinen weiteren Inhalt teilen, kann er einfach die Quelle “Game Capture” auf OBS und Streamlabs verwenden um sein Modell auf einen Hintergrund seiner Wahl zu überlagern. Zusätzlich is bei dieser Methode zu beachten, dass die Transparenz in der verwendeten MoCap-Software immer aktiviert ist und beim Streamen auch zugelassen wird.
Alternativ dazu gibt es auch Vtuber, die während ihrer Streams andere Inhalte teilen, wei beispielsweise Spiele spielen oder gemeinsam mit ihrem Publikum auf Youtube-Videos reagieren. In diesem Fall gibt es Programme wie SUVA für Windows, mit denen virtuelle Streamer ihre Avatare in Unity importieren können und diese dann in Streaming-Anwendungen wie OBS einblenden. Dadurch bleibt das Steam-Konto frei.
In jedem Fall ist es wichtig sich vor seinem Debüt ausgiebig mit allen verfügbaren Programmen und Technologien auseinander zu setzen, um für sich selbst die bestmöglichste Variante zu finden. Um auch in Zukunft mehr Vtuber in die Community zu holen, währe die Umsetzung folgender Punkte ein Anfang:
Mehr Tools zur Erstellung von Avataren für Nicht-Experten, die verschiedene Kunststile unterstützen
Eine All-In-One-Mocap-Lösung für das gesamte Gesicht, den Körper und die Finger, die nur eine Webcam benötigen und damit Kosten und Ineffizienz verringern
Engere Zusammenarbeit zwischen Software- und Hardwareanbietern, um den Integrationsprozess zu vereinfachen und den Prozess zu vereinheitlichen, weiterzuentwickeln und zu konzentrieren
Eine einfache Benutzeroberfläche für Nicht-Entwickler, damit die Nutzung von Software und Hardware einer breiteren Masse zugänglich wird
Demnächst
Bedeutung, Entstehung und aktueller Bezug
V-Tuber Agenturen und ihre Protagonisten
Software und Programme – Was gibt es und wie verwende ich sie?
Entwicklung eines Characters – 2D und 3D Modell
(Erwartungshaltungen von Usern, Protagonisten und Agenturen)
Um diesen Blog zu starten, möchte ich zuerst mal das Thema erklären und meinen jetzigen Stand, mein Wissen und meine Fragen erläutern.
Der Titel “Simulation vs sichtbare Ästhetik” beinhaltet unterschiedliche Themen, die zum Teil sehr weitreichend sind. Da ich in diesem Rahmen unmöglich alle Aspekte abdecken kann, möchte ich mich speziell auf den Bereich ‘Art’, ‘Animation’, ‘Games’ und ‘Filme’ konzentrieren.
Auf der einen Seite steht die realistische Darstellung und das Verlangen, alles noch echter näher an der realen Welt wirken zu lassen. Die Kostüme, die Spezial Effects (VFX), die Charaktere, die Monster und so weiter. Ein Spiel beispielsweise soll nicht von einer echten Aufnahme unterschieden werden können und da ist wahrscheinlich noch nicht einmal die Grenze. Wenn man in Zukunft VR Brillen und Anzüge zum “tracken” von Bewegung und Gespür mit in diese Welt hinein ziehen, vielleicht ist es dann ja auch möglich, komplett mit dieser Simulation zu verschmelzen. Bereiche, die vor allem diesen Werdegang unterstützen sind unter anderem über Fotogrammmetrie eingescannte reale Objekte, wo über mehrere Fotos von einem realen Objekt, schnell und unheimlich genau ein 3D Modell erstellt werden kann, das nur mehr kaum bis gar nicht mehr vom Original zu unterschieden ist.
Zusätzlich natürlich auch Motion Capture, was im Allgemeinen in die gleiche Kategorie gegeben werden kann. Man zeichnet die Bewegung eines Körpers über eine Kamera auf, die anhand von Ankerpunkten die realistische und unheimlich filigrane Bewegung in die 3D Oberfläche übertragen kann. Die Körper sowie die Bewegung aus dem Realen genommen ermöglichen nun natürlich, sofern nicht von der Leistung des Computers eingeschränkt, eine komplett realistische Darstellung mit perfekten Elementen aus der Natur.
Solch ein Gedanke ist bis jetzt nur eine Vision, denn jene aufgenommenen ‘Assets’ sind extrem detailliert und brauchen viel zu viel Leistung. Real-time Engines, wie Unity oder Unreal versuchen daher, mithilfe von Tricks und Maschine-learning Details zu verlieren, ohne wirklich Details zu verlieren. Der Vorteil: alles kann in Echtzeit passieren. Spiele und mittlerweile auch schon einige Filme machen Gebrauch von Real-Time Engines, 3D Umgebungen, wo der finale Frame in millisekunden auf dem Bildschirm angezeigt werden kann. Im Vergleich dazu gibt es noch die Offline Render, wo Pixel mehrere Stunden bis Tage berechnet werden, um so realistisch wie möglich zu sein. Die Visuellen Unterschiede werden aber verschwindend gering.
Im Kontrast zu all jenem steht für mich die sichtbare ästhetische Darstellung, die Versucht, mit verschiedenen Stilmittlen unterschiedliche Emotionen hervorzurufen beziehungsweise zu verstärken. Oft mal gibt es auch bei dem Versuch einer realistischen Darstellung das Paradox, dass nicht realistische Inhalte in eine Reale Welt gezogen werden, wie Märchenwesen, Magier, Drachen und so weiter. Je ähnlicher, desto mehr werden die Unterschiede deutlich. Eine ästethische Darstellung hat dieses Problem aber nicht. Außerdem kann die Vorstellungskraft viel weiter ausgenutzt werden, wenn sich Inhalte mehr im kreativen und Abstrakten Bereich befinden, was möglicherweise zu einem noch tieferen Eintauchen in eine andere Welt beitragen könnte.
Fragen
Was macht einen realistischen Render aus? Ist realistisch am Bildschirm überhaupt möglich? Inwieweit spielt die Wahrnehmung und die Kultur eine Rolle, ob etwas als realistisch gesehen wird?
Was macht einen kreativen Render aus? Ist das Handwerk mehr Wert als die Vorstellbarkeit? Inwiweit kann eine kreative Welt einnehmend sein und in welcher Weise könnte sie einer realisitsch wirkenden Welt überlegen oder unterlegen sein?
Welche Schritte müssen im Realtime bis jetzt durch AI ersetzt werden, welche Teile können wirklich in Echtzeit berechnet werden?
