Zumindest ein Gedanken-Experiment. Neben der im vorigen Artikel aufgeworfenen Frage der Eingrenzung, stellt sich natürlich sehr zentral – seit Beginn meiner Recherche – die Frage, was ein Möglicher Output, Produkt oÄ. im Falle der Weiterführung meines Themas bis zur Masterarbeit sein kann. Diese Frage darf ich nach wie vor mit einem Fragezeichen beantworten, ein Ergebnis (von vielen Möglichen) könnte ein Studienplan bzw eine ideologische Ausrichtung eines Designstudiums sein. Auch wenn dieses Ergebnis ein sehr theoretisches ist und mich schon in der Recherche der inhaltlich konkrete Übungsplan stärker interessiert hat, als tiefenphilosophische Überlegungen. Schließlich ist es für mich auch das, was ich einerseits im Berufsleben mache (mir aufgrund der Leistungen der Schüler und meiner Erfahrung aus der Berufspraxis heraus zu überlegen, welche Übung etwaige Problem löst) und andererseits muss auch die letzte Konsequenz einer tiefenphilosophischen Überlegung im Lehralltag ankommen, sonst bleibt sie Theorie. Ein Lehrplan ist jedoch die Basis für die Umsetzung in Übungs- und Theorieform, und dieser Lehrplan muss die Grundhaltung einer Ausbildung widerspiegeln – die Katze beißt sich also in den Schwanz.
Als Experiment möchte ich nun – im Warten auf Antworten – mir meine eigenen Fragen beantworten, und zum Zwecke der Grenzenauslotung radikalere Positionen beziehen, schlichtweg, um ein Spannungsfeld aufzubauen. Eine Position die ich beziehen möchte ist die eines wirtschaftlich orientierten Realisten.
Technologische Entwicklungen: Eine Ausbildung muss am allerneuesten Stand der Technologie sein um zukünftig wettbewerbsfähige Designer hervorzubringen. Neue Tools müssen detailliert gelehrt und eingesetzt werden, aus Zeitgründen muss eine starke Eigeninitiative der Studenten gefordert werden. Dies impliziert auch das Weglassen klassischer, veralteter Technologien, es hat keinen Sinn mehr, heute über Bleisatz und Geviert zu reden, aus diesem Wissen entsteht kein Vorteil.
Spezialisierung oder Generalisierung? Definitiv Spezialisierung. Nur Spezialisten können sich durchsetzen, es muss also sehr früh eine konkrete Richtung im Studium eingeschlagen werden. Allgemeine Wissensbereiche sind auf Kosten von Fachwissen vernachlässigbar, dieses Fachwissen muss in praktisch anwendbarer Form vermittelt werden. Eine Ausbildung im 21. Jahrhundert kann sich nicht leisten, nicht direkt im Berufsleben verwertbare Inhalte zu kommunizieren. Die Richtungen der Spezialisierungen können in einer gestalterischen Ausbildungsrichtung (keine Content-Erstellung) nur in Richtungen von UI/UX Design sowie Interaction Design bzw Motion Design gehen.
Programmschulung in Zeiten von YouTube Tutorials? Ja, weil ein professioneller Standard gelehrt werden muss, der als Grundlage für wirtschaftliche Wettbewerbsfähigkeit dient. Die wichtigsten Anwenderprogramme müssen beherrscht werden und vor allem muss eine solide Basis an Programmierung beherrscht werden. In einer Berufswelt, die fast ausschließlich digital ist, muss das tiefgreifende Verstehen und selber anwenden des Werkzeuges Teil der Ausbildung sein.
Projekte aus der Praxis oder künstlerisches Experiment? Zweiteres ist zu vernachlässigen. Es werden Designer gebraucht, keine Künstler, dafür gibt es eigene Studien. Die Ausbildung muss ab den allerersten Grundlagen von möglichst realen Projekten begleitet werden. Anwendung kann nur im Industrie-Kontext sinnvoll sein. Nur dadurch kann der Berufsalltag vorweggenommen werden und ideal darauf vorbereitet werden. Projekte zur Selbstverwirklichung haben ihren Platz anderswo, in der Realität steht am Ende immer ein Kunde, der eine Arbeit kaufen muss. Die Umsetzung des gelernten in Praktika, welche thematisch genau zu überprüfen sind, muss in den Unterrichtsferien Zeiten verpflichtend sein.
Grundlegend kann gesagt werden, dass die Ausbildung eine hochspezialisierte, praxisnahe und in enger Verflechtung mit der Wirtschaft befindliche Systematik braucht, welche gezielt am Puls der Zeit ist, technologisch am allerneuesten Stand und diesen Stand in hoher Qualität liefert. Darum werden obsolet gewordene Lehrinhalte und Technologien entschieden abgelehnt, um im genau aus der Arbeitswelt definierten Berufsdefinitionen eine maximale Tiefe zu erreichen. Kernthemen sind Web-Developement, Usability, UX/UI Design, Data-Visualization, Motion Design usw.
Das Experimentieren geht weiter: Nachdem die Doppelbelichtung digital sehr gut geklappt hat, war das Ergebnis der analoge Doppelbelichtung anders als erwartet. Nun wird ebenfalls wieder analog belichtet. Als Werkzeug dient eine Polaroidkamera. Die Art von Kameras erfreuen sich in den letzten Jahren an steigender Beliebtheit, denn nach dem Auslösen wird sofort das Foto ausgedruckt. Nach ein paar Minuten ist das Ergebnis fertig: der belichtete Film hast sich selbst fertig entwickelt. Es entstehen dabei Unikate, Momentaufnahmen, ohne dass eine digitale Datei existiert. Polaroids werden heute oft auf Geburtstagen, Hochzeiten, Reisen oder sonstigen Events genutzt. Seit über 70 Jahren gibt es die Sofortbildkamera. Damals war es ein revolutionärer Durchbruch, da keine Negative entwickelt werden mussten und das Foto sofort fertig war.
Heute dominieren die „Instax“ Sofortbildkameras den Markt, sie gehören zur Marke Fujifilm. Es gibt die Kameras in unterschiedlichen Modellen, die Fotos unterscheiden sich teilweise in der Größe. Auch gibt es Schwarz-Weiß oder Sepia Filme. Verschiedene Modi können verwendet werden, um ein gut belichtetes Polaroid in unterschiedlichen Lichtverhältnissen erstellen zu können.
Die Instax SQ6 wurde für das Experiment genutzt. Sie besitzt den Modus, Doppelbelichtungen durchzuführen. Das erste Motiv sollte ein freistehendes Objekt sein, am besten eignen sich Motive for einem hellen Hintergrund. Möglich ist auch dass die Kamera Richtung Himmel gehalten wird, sodass der Himmel den hellen Hintergrund bildet. Für das zweite Motiv können Motive gewählt werden, die eine Struktur oder Pattern haben. Beispielsweise eignen sich Wiesen, Blätter, Mauern, Fassaden usw. dafür. Danach sollte die Silhouette des ersten Motives gefüllt mit dem zweiten Motiv die Doppelbelichtung ergeben.
Das erste Bild zeigt die Silhouette einer Hand. Sie ist mit grünen Blättern gefüllt. Diese sind noch ganz leicht im weißen Hintergrund zu erkennen. Oben rechts in der Ecke befindet sich auch eine grüne Stelle. Wahrscheinlich ist das ein Ast eines Baumes, der noch in das erste Motiv geragt ist. Für den zweiten Versuch der Doppelbelichtung wurde zuerst ein Baum und dann eine orangene Hauswand abfotografiert. Auch hier hat es super funktioniert, denn die Silhouette des Baumes ist noch sehr gut zu erkennen und die Fassade füllt nun die Fläche des Baumes. Bei der dritten Doppelbelichtung wurde der Spieß umgedreht und zuerst ein urbanes Objekt, dann ein Objekt aus der Natur fotografiert. Ein städtisches Gebäude und die Straßenlaternen sind zu erkennen, sie sind gefüllt mit grünem Gras. Doch hier passierte ein kleiner Fehler: Der Haltegurt der Kamera rutschte ins Bild mit rein und wurde auch belichtet. So bekam das Polaroid ein etwas unerwartetes Aussehen. Beim vierten Versuch wurde eine Person fotografiert, danach ein Kopfsteinpflaster, welches auch außerhalb der Person zu erkennen ist. Wahrscheinlich war der Himmel nicht hell genug, sodass in diesen Bereichen das analoge Freistellen nicht zu hundert Prozent funktioniert.
Bei der letzten Doppelbelichtung diente eine Kirche als erstes Motiv. Danach wurde ein Rosenbusch fotografiert. Hier ist die Polaroid in Sachen Fokussierung an ihre Grenzen gekommen: die Rose, die fokussiert wurde, ist unscharf. Dafür sind die Blätter und Äste, die etwas weiter weg von der Linse waren, scharf. Wie beim vierten Versuch ist auch hier das „Muster“ im Himmel zu erkennen.
Die Versuche haben gezeigt, dass die Doppelbelichtung mit einer Sofortbildkamera gut funktionieren. Vorausgesetzt es werden wirklich freistehende Objekte genommen. Sobald es dunklere Bereiche im ersten Motiv fotografiert werden, werden diese auch beim zweiten Foto mit belichtet. Ein weiterer Punkt, der sehr spannend ist, ist das kurze Warten auf das Ergebnis. Nach ein paar Minuten waren alle Polaroids entwickelt. Außerdem finde ich die Farben und den Look der Fotos sehr ästhetisch und ansprechend. Die Grün- und Rottöne passen super zum grauen Asphalt. Hier hat sich also gezeigt, dass sich auch unterschiedlich farbliche Motive mit der Kamera fotografieren lassen können und ein Bearbeiten nicht notwendig ist. Das wäre hier in diesem Fall auch nicht gedacht, da keine digitalen Dateien existieren.
Zentraler Bestandteil der Recherche ist die Gegenüberstellung von analoger und digitaler Fotografie. Da im letzten Eintrag die digitale Doppelbelichtung thematisiert wurde, handelt nun dieser Blogeintrag um die analoge Fotografie. Als Unterschied dazu wurden Fotografien mit der analogen Spiegelreflex compact-reflex der Marke Porst erstellt (s. Abbildung 1). Bisher habe ich kaum Erfahrungen mit analoger Fotografie gemacht und mich nie wirklich damit beschäftigt. Ab und zu nutze ich analoge Einwegkameras. Doch bei diesen Kameras ist es kaum möglich, individuelle Einstellungen vorzunehmen und sie an die Lichtverhältnisse anzupassen. Die Kamera, die ich jetzt nutze, gehörte meinem Opa, der Fotograf war und sich bestens damit auskannte. Leider kann er mir die Technik und Funktionen nicht mehr erklären, so beschäftige ich mich selbst damit, eigne mir das Können selbst an und nutze sein Equipment weiter.
Verwendet wurde ein 24er Film der Marke Kodak mit der ISO 400. Nachdem der Film voll war, brachte ich ihn zum Entwickeln – und dann passierte genau das, was bei digitaler Fotografie nie der Fall ist: Der Film wurde womöglich falsch belichtet, nicht richtig weitergedreht oder die Kamera wurde nicht richtig eingestellt. Denn von den 24 Fotos kamen nur 5 entwickelte Bilder zurück, auf denen teilweise kaum was zu erkennen ist.
Doch genau das macht analoge Fotografie aus. Tage auf das Ergebnis zu warten und dann bemerken, dass etwas nicht geklappt hat. Das Ergebnis ist anders als erwartet, trotzdem hat es für mich funktioniert. Ich möchte nicht von „falschen“ Fotos sprechen, denn solche Fotos hätte ich nie mit der digitalen Kamera machen können. Das Ergebnis ist etwas unerwartetes und für mich sehr spannend, da es die kreative Arbeit ankurbelt und in eine unbekannte Richtung lenkt.
Da alle Bilder einen „Fehler“ aufweisen, passen sie in irgendeiner Weise sehr gut zusammen. Schwarze Bereiche kennzeichnen die Fotos. Auffallend sind die Fotos 1 und 2, denn sie zeigen das selbe Motiv (s. Abbildung 2). Es scheint so, wie wenn der Film ein wenig verrutscht ist und das Motiv „gecuttet“ wurde – zwei analoge Puzzleteile also (s. Abbildung 3). Bei den Fotos 2, 3 und 4 gibt es einen schwarzen Verlauf (s. Abbildung 4), das Foto 1 ist wiederum durch eine harte Kante gekennzeichnet und zu zwei Drittel dunkel. Bei Foto 5 ist der Lichteinfall und Bäume zu erkennen, alles andere ist ebenfalls sehr dunkel (s. Abbildung 5).
Die analogen Bilder wurden gescannt, also am Ende doch digitalisiert. Dieser Arbeitsschritt ist unumgänglich, sonst wäre das Erstellen des Posts nicht möglich gewesen.
Im Rahmen unserer Design & Research 2 Lehrveranstaltung, entstand eine Zusammenarbeit mit dem Slawistik Institut der Universität Graz. Ziel war es eine vielseitige Plakatkampagne für das Institut zu entwickeln um Studierende auf das Slawistik Studium aufmerksam zu machen.
Das endgültige Design basiert auf einer Reihe von Sprüchen, die aus dem Russischen, Slowenisch, Bosnisch, Kroatisch und Serbisch stammen (da diese Sprachen am Institut unterrichtet werden). Die Redewendungen sind immanenter Bestandteil der jeweiligen Sprachen und sind eigentlich nicht übersetzbar – die Kampagne überträgt sie dennoch ins Deutsch und bringt den Seher zum Lachen oder Staunen. Mit einem Augenzwinkern werden die Leser aufgefordert: “Keinen Plan, wovon wir reden? Studiere Slawistik! Dann verstehst du’s.”. Das Farbschema der Gestaltung enthält Gelb, Rot und Blau – Farben, die in slawischen Kulturen häufig verwendet werden. Allerdings leicht aufgehellt und nie gemischt. Damit vermeidet das Design jede nationalistische Konnotation. Eine Typografie, die an die geometrische Form des kyrillische Alphabet angelehnt ist, wurde für auffälligen Überschriften verwendet. Eine zweite, neutrale Schriftart, die für Unterzeilen und Fließtexte verwendet wird, gleicht das typografische Bild aus und erzeugt so ein Spannungsverhältnis, dass sich in einem gängigen Layout widerspiegeln lässt. Die Illustrationen visualisieren die Überschriften, weisen aber auch auf die eigentliche Bedeutung der Sprüche hin und schaffen so eine zweite Bedeutungsebene. Für digitale Medien werden die Illustrationen animiert und erwachen auf den Bildschirmen der Betrachter zum Leben.
Diese Kampagne, die in Zusammenarbeit mit Charlotte Heller, Miriam Rein und Karin Schmerda entstand, ist ein gutes Beispiel wie ein recht traditionelles Themengebiet in einen zeitgenössischen Kontext gesetzt werden kann. Sprache und visuelle Gestaltung werden in ein sich ergänzendes Zusammenspiel gebracht, durch die Doppeldeutigkeit der Illustrationen. Somit wird nicht nur eine gestalterische Ebene kreiert, die Kampagne schafft es auch durch Sprache selbst, tiefer in die Sprachphilosophie slawischer Sprachen einzudringen und so eine Verknüpfung zum Deutschen zu bilden und so eine Brücke zwischen den Kulturen zu bauen.
Im allgemeinen mag man annehmen, dass das wichtigste an einem interessanten Interview ein interessanter Interviewpartner ist. Fürs erste mag das stimmen, zentral sind sicher spannende Ansätze und neue Ansichten in den Antworten. Voraussetzung dafür ist jedoch die richtige Fragestellung. Manchmal mag es funktionieren, dass man bei Personen wie am Start eines Filmes auf Play geht, und alles von selbst kommt. Doch das ist sicher die Ausnahme, vor allem, wenn man keine persönlichen Lebensgeschichten als Antworten erhalten will, sondern fachliche Einsichten. Genau dies war der Kern meines letzten Postings, zu definieren, wohin man einen Interviewpartner losschicken muss, um an einen spannenden Punkt zu kommen. Die Schwierigkeit besteht in dem Mittelmaß an Führung und Freiraum. Führung um einerseits nicht uferlos zu werden, aber andererseits die Gefahr, zu sehr einzuschränken oder eigene, vorgefasste Meinungen als Antworten zu erhalten und Neues auszuschließen. Darum also die Fragen möglichst allgemein halten – das war meine Devise.
Die Erfahrung mit dem ersten Interviewpartner zeige aber schnell, dass man damit auch Gefahr läuft, den Kontext zu verlieren. Gerade dieser Kontext ist auch eine sehr spannende Rahmenhandlung meiner Themenauseinandersetzung. Wo beginnt Design-Ausbildung? Wozu überhaupt? Was macht Designer wichtig für eine Gesellschaft? Was hat kreative Arbeit für einen Stellenwert? Wie wird dieser Zweig in der Ausbildung gewertet? Eine umfassende Beschäftigung mit dem Thema Designausbildung stößt wohl an diesen Punkt, sich zu fragen, wieso Menschen Designer*innen werden wollen oder sollen. Ob sich in einer rationalen, faktengesteuerten Gesellschaft ein Anstoß in eine neue, weniger verkopfte Welteinstellung als notwendig herausstellt. Wo soll das Herausbilden von kreativen Fähigkeiten begonnen werden? Diese Fragen wurden mir als Antwort auf meine eigenen Fragen gestellt – ich bin froh darüber, weil sie mir zeigen, dass ich die Eingrenzung meines Themas früher machen muss, als eigentlich gedacht. Ich fühlte mich sofort an Fröbl und seine Spielgaben erinnert – Erkenntnisse meines Research Teiles im letzten Semester, der genau in diese Kerbe schlug und eine grundlegende gestalterische Bildung schon in das Kindergartenalter legte. Und im weiteren auch an viele andere Ansätze von Design Schulen, die sehr bald eine sehr philosophische Anwandlung erhielten.
Für mich führt dieser radikale Abriss aller Gegebenheiten jedoch zu weit. Ich will keine sozial-philosophische Basisdiskussion führen, dass mag dem damit einhergehenden Ausmaß geschuldet sein, aber wohl auch der Befürchtung ein allzu theoretisches Konstrukt bearbeiten zu müssen und nie zu einem praktischen Punkt zu kommen. Ich erkenne die berufliche Umgebungswelt des heutigen Designers als gegeben an (nicht ohne natürlich ein Hinterfragen und Ändern der Ausrichtung zu erlauben; beispielsweise ob es erstrebenswert wäre, in der Ausbildung ein künstlerisches Selbstbewusstsein über eine wirtschaftsgetriebene Hörigkeit zu stellen). Ebenso nehme ich eine Schulische Umgebung der jetzt-Zeit an, fordere keine revolution der Kindergärten und Volksschulen um weg vom auswendiglernen von Zahlen und Fakten zu kommen (auch wenn das durchaus ein wichtiger Diskussionspunkt wäre). Aber eben, wie gesagt, ich muss mir diesen Rahmen schaffen, um den Fokus nicht zu verlieren und meine Interviewpartner nicht auf eine Reise zu schicken, die wir beide nicht beenden können und vielleicht auch nicht wollen. Somit ergibt sich natürlich eine gewisse Unstimmigkeit, eine Ausbildung für die Zukunft zu denken sollte sich solche Fragen sicherlich auch stellen, solange man Gestaltung in einem sozialen Erziehungskontext für alle Menschen sieht – womit wir wieder bei dem Wert des Designers in der Gesellschaft wären.
Meine neuen Fragen sollen also diesem Gedanken gerecht werden, ich schicke meine Interviwepartner nicht mehr los um eine neue Welt zu finden sondern um ihre aktuelle zu Hinterfragen, und darum versuche ich, konkretere Ansätze als Diskussionsgrundlage zu geben – mit der Option auf Erweiterung. Natürlich bleibe ich damit im Risiko, interssante neue Ansätze in den Rahmenbedingungen die ich stelle erst gar nicht aufkommen zu lassen, allerdings hoffe ich da auf meine Gegenüber, ihre Ansichten einzubringen, ohne gleich die Welt umkrempeln zu müssen. Darum, nach den allgemeinen Fragen, die ich nochmal wiederhole, hier die aktuelle Liste meiner Fragen:
a. Wie lange sind Sie schon im Bereich Kommunikationsdesign tätig?
b. Welche designbezogene Ausbildung haben Sie?
c. Was haben Sie als positiv in ihrer Ausbildung in Erinnerung?
d. Was hätten Sie sich in Ihrer Ausbildung gewünscht?
e. Was ist ihre Kernkompetenz/Hauptbetätigungsfeld im Bereich Design heute?
f. Wie lange sind Sie in der Design-Lehre tätig, wie hat sich die Ausbildung in dieser Zeit verändert?
————
1. Wie ist das didaktische Grundkonzept an ihrer Ausbildungsstätte? (Lehrinhalte, Methoden, Schwerpunkte)
2. Was ist besonders gut am Modell Ihrer Ausbildungsstätte; was ist nicht gut, wo gibt es Verbesserungspotential?
3. Wie sollte man den sich verändernden Arbeitsbedingungen in der Lehre begegnen? (technologische Entwicklungen, Trends)
4. Ist eine Spezialisierung oder eher eine Generalisierung der Ausbildung anzustreben? (wenige Bereiche sehr fokussiert und umfassend zu lehren oder viele Bereiche aufzuzeigen ohne zu sehr ins Detail zu gehen)
5. Sind analoge Ansätze heute noch sinnvoller Bestandteil einer Ausbildung?
6. Macht Programmschulung in Zeiten von Youtube Tutorials noch Sinn?
7. Sollten möglichst viele Projekte aus der wirtschaftlichen Praxis gemacht werden oder mehr Raum für künstlerisches und intellektuelles Experiment gelassen werden?
In diesem Gedankenexperiment für ein Konzept möchte ich mich mit dem Thema Konsumverhalten und Mikroplastik auseinandersetzen. An diesem Punkt werde ich ein bestimmtes Wissen zum Thema voraussetzen. Wir alle wissen warum Plastik unserer Umwelt, dem Klima und uns selbst schadet. Ich habe schon seit längerem nahgedacht ein Awareness Projekt zu Mikroplastik zu starten, allerdings recht lange damit gewartet. Die Frage ist, ob diese Awareness noch gebraucht wird oder vielleicht in anderer Form sichtbar gemacht werden kann? Dieses Jahr gab es dazu auch mehrere Artikel mit relativ reißerischem Titel, unter anderem von der APA:
Ein Mensch isst pro Woche eine Kreditkarte
APA (2022)
Dabei handelt es sich um die Menge von 5 Gramm, die ein Mensch durchschnittlich in der Woche zu sich nimmt.1 In dem Konzept würde ich gerne die Menge dieser 5 Gramm gemeinsam mit der Zeit in Verbindung bringen. Dafür würde ich Konsumgüter des täglichen Bedarfs aus Plastik sammeln und diese mithilfe der Organisation “Precious Plastic” schreddern.
Das Granulat lässt sich wiederum neu verarbeiten und mithilfe von Hitze neu pressen.
Die Idee wäre vorerst, die gesammelten Artikel zu Granulat weiterzuverarbeiten, um diese dann in jeweils 5 Gramm schwere Blätter zu pressen, um daraus wiederum einen Kalender zu machen. Damit würden die jeweiligen 5 Gramm der Woche haptisch greifbar gemacht werden können.
1: Apa (2022) Ein Mensch isst pro Woche eine Kreditkarte. online auf: https://science.apa.at/power-search/4328225813542869552. Zugriff (20.06.22)
In my latest experimental session, I experimented with the character design of native American people. As in my latest approach I did some research on features and characteristics which are typical for this ethnicity. I also wanted to give them a neutral/ordinary clothing because I thought about illustrating native Americans how they would live today in the modern society. (Not living in tribes but in the modern society).
It is really challenging to draw/illustrate people of a specific ethnicity in general because obviously they all don’t look the same and features vary from person to person. Still, I think it helps to draw different characters in order to learn and identify characteristics which everyone (more or less) has in common.
In my last blog entry, I experimented with inclusive character design in the field of: having one common theme (doing yoga) and then drawing different people in this situation. This time I focused on ethnicity and gender (Japanese (young) man) and tried to really understand:
Features
Clothing
Characteristics
I realized that it’s hard for me to stick to drawing people how they really look like and not to “Europeanize” them aka giving them features which are typical for Europeans like bigger lips or eyes etc.
I think it needs a lot of practice to really understand ethnicities and to draw them correctly without making them too European or too stereotypical.
In this chapter, the project’s progress, made during the second semester, will be evaluated and successful as well as failed outcomes will be discussed. The evaluation will be based on the goals that were set out to be fulfilled during the second phase of the project.
Goal Number
Description
Goal 1
Determine and acquire necessary equipment
Goal 2
Determine ideal placement of sensors and microcontrollers on guitar neck and pick/right hand and install them accordingly
Goal 3
Program microcontrollers to pick up the movements of the fretting and picking hands using the Integrated Development Environment (IDE) by Arduino
Goal 4
Program a Pure Data patch that handles the incoming data and transforms it to useable parameters to trigger effects
Goal 5
Either program custom effects in Pure Data or integrate Pure Data in a DAW to trigger commercial effect plug-ins
Goal 6
Determine suitable effects and parameters to be triggered by the movements of the fretting and picking hands
As far as the first goal is concerned, it can be stated that this task was accomplished. As outlined above, the necessary and suitable equipment for both the left and right hand setups was determined. This was achieved by thoroughly researching potentially suitable components and submitting them to tests in order to identify the best solution possible.
With regards to the choice of a microcontroller, the Arduino Leonardo was chosen over the Arduino UNO due to its built-in USB communication and USB MIDI device capabilities. Albeit the Leonardo being rather big and unwieldy, it was decided to stick with it during the experimental phase on simplicity grounds since it could be borrowed from the FH JOANNEUM. However, it is likely that a smaller microcontroller with similar performance such as an Arduino Micro will be used for the final setups in project phase three.
Regarding the sensor for the left hand setup, diligent research and a direct performance comparison lead to the decision to use a time-of-flight sensor to pinpoint the position of the guitarist’s hand along the neck instead of the initially planned ultrasonic sensor. After evaluating the specifications of several ToF sensors, the sensor of the type VL53L1X was finally chosen.
For the right hand setup on the other hand, a suitable IMU sensor was found rather quickly. Although an MPU9250 was briefly considered and used during an initial Arduino library test, it was then dropped for a BNO055 sensor, following the recommendation of the author’s supervisor.
Of course, next to these main components, other equipment including cables, breadboard, electronic components, etc. were acquired.
All in all, this goal has been largely fulfilled with some improvements possible in the third phase of the project.
As outlined above, the usual positions of the fretting hand have been determined and subsequently analyzed. This analysis led to the conclusion that, unfortunately, the posture and the exposed reflection area of the fretting hand vary a lot depending on what is played, with major differences between playing barre chords and single notes for instance. These inconsistencies in hand posture were and still are a major constraint to the left hand setup and its flawless implementation into the natural playing style of a guitarist.
As far as the ideal place and installation of the sensors is concerned, a lot of progress was made with regards to the left hand setup. Based on the afore-mentioned analysis of the hand posture, several attachment devices were made for the ultrasonic as well as the ToF sensors and, subsequently, compared. One position in particular (IMAGE) proved to be better than the others, albeit being not perfect. The position chosen works best for barre chords as well as the Solo Mode application.
Regarding the attachment device of the right hand setup, there is definite room for improvement. The wristwatch solution was sufficient for the experimental phase and proved that placing the sensor on top of the back of the hand serves to get useful sensor data. However, it is unsuitable for the final product. While a wireless solution is optional for the left hand setup, the right hand setup would certainly benefit from the lack of cables. It would enable an even more natural playing of the guitar.
Here, definite progress was made, especially with the left hand setup. With no prior experience in programming the learning curve was quite steep, and a lot of time had to be dedicated just to learn basic coding techniques.
Regarding the left hand setup, Arduino sketches were made firstly for the ultrasonic sensor and, subsequently, for the time-of-flight sensor when the former proved to be unsuitable. In addition to code needed to access the basic sensor data, the mathematical relationship of the guitar fret spacings was established, fret ranges were determined and finally implemented in the code. Next to absolute distance measurements, detecting the fret numbers is possible up to the ninth fret which already enables applications such as the Solo Mode.
The code for the right hand setup on the other hand is not yet as advanced mainly due to time constraints. Using a library, orientation, acceleration, and calibration data could be obtained from the IMU sensor and transmitted to Pure Data via MIDI. The y value from the orientation data is the only data so far that is suitable for further use to control effect parameters of a Wah Wah effect. Here, more variety in data usage would be desirable.
Lastly, different data transmission techniques were tested and evaluated. A lot of time was spent with first MIDI USB libraries and then MIDI only libraries with transmission suffering from a lot if lag initially. Serial port communication proved to be the first viable solution, fast enough to control effect parameters. Finally, the latency problems of MIDI could be eliminated. The current setups work via MIDI communication using a MIDI cable. For the third phase, a wireless means of data transmission would be desirable – especially for the right hand setup.
This goal was achieved to a large extent. Albeit initially working only with great latency issues, making a patch that receives MIDI data and is able to use it for further processing was achieved rather easily. The interim solution, serial port communication, took some more research but once the basic method was discovered, its application was straightforward. For the left hand setup, the incoming fret numbers can be either used directly to control effect parameters or, using the “moses” object for instance, a fret threshold can be set to make an ON/OFF switch. The patch for the right hand setup is very similar to that of its counterpart and effect parameters can be controlled.
As far as goal 5 is concerned, mixed results were achieved. Working with the digital audio workstation (DAW) Steinberg Cubase Pro 11 proved to be more difficult than previously anticipated and, consequently, it was decided to work with Pure Data only during the experimental phase. Nevertheless, in order to ensure a seamless integration into the guitarist’s natural workflow, a DAW integration of the final product is desirable. Thus, it will be tried to accomplish this in the third phase of the project.
Regarding the decision between using self-made effects or third-party plugins, both approaches were tested. The first patch contained a self-made delay and overdrive/distortion effect which proved to be useful for the first test but had definite shortcomings tonal quality-wise. Thus, the patches from then on used the object “vstplugin~” to implement third-party plugins in the Pure Data environment. The exception is the Wah-Wah effect for the right hand setup which is self-made and works well.
With a stable data transmission between Arduino and Pure Data achieved at a relatively late stage of the semester, this goal could not be fully achieved. Tone experiments involving several effects and their parameters were conducted. For the Solo Mode application of the left hand setup, an amplifier, reverb and delay were tested. Less tonal experimenting was done with the right hand setup: three effects tremolo, phaser and Wah Wah were tested with only the latter representing a reasonable effect to be controlled by the right hand setup.
It is evident, that only the surface has been scratched so far and much more in-depth research and experimenting in both setups will be needed to really provide practical applications for extending the range of possible guitar sounds.
In conclusion, it can be stated that all tasks set to be done during the second phase of the project have been approached and tackled with the majority of goals at least partially achieved. Additionally, setup compatibility with working hypotheses 1 and 2 was consistently ensured, with all effects working so far not invading the usual way people play guitar. As stated in the Exposé and in chapter 4 of this documentation, the overall aim of the second phase was to develop working setups that are sufficiently reliable and allow for further practical research regarding suitable effects, playability and performability. While the left and right hand setups are far from being a final product or ready to be tested by other guitarists, the second, experimental phase yielded a lot of progress. Overall, it can be affirmed that the left and right hand setups, albeit having shortcomings in some areas, are advanced enough to serve as a base for further practical research in the third semester.
Here, the first goal was to get basic sensors readings in general with the next step being to figure out what kind of readings are suitable for controlling effect parameters.
In order to establish which data is needed and how it should be used, the data values of x, y and z and their changes were analyzed while performing strumming movements with the sensor strapped to the hand.
With the IMU +Arduino outputting orientation data, it became clear that the y value could prove useful for controlling effect parameters while strumming the guitar. The range of values of y was analyzed for the up and down strumming movements and the established range subsequently constrained. Then the range was remapped to MIDI values from 0-127 and, using the same data transmission techniques as the left hand setup (so firstly serial bus communication and, subsequently, MIDI), sent to a Pure Data patch similar to the one for the left hand setup.
Next to orientation data, experiments were conducted with accelerometer as well as linear accelerometer data in the same manner.
Using IMU data in Pure Data
In the Pure Data patch, the incoming orientation and (linear) acceleration data was used to control several effects and their parameters. Using the aforementioned “vstplugin~” object, the following effects were tested:
MTremolo by Melda Production
MPhaser by Melda Production
However, the incoming IMU data proved to be not reasonable for these effects. The linear and normal acceleration data could not be used at all. The orientation data was working to some extent, but no practical application of its effects was immediately discovered.
The first success using the IMU data was the Wah-Wah effect. Using the “vcf~” object, a bandpass filter was made with an adjustable fader going from 280 Hz to 3000 Hz center frequency (the normal operating range of a Wah-Wah pedal) and a Q-factor of 4. Using the y value from the orientation data, the center frequency was controlled through strumming movements of the right hand. The resulting sound was similar to that of a “real” Wah-Wah pedal and could be achieved solely by the natural strumming performed during playing.