Various analytical tools are used to analyze data in the medical area, thanks to which it is easier to make decisions based on facts. These methods later help in planning, measuring, designing, and educating. Now the global health service is suffering from shortages among doctors and nurses who make primary care. As a result, already overworked specialists have to perform their duties even faster. Unfortunately, the situation is predicted to be even more difficult over the next few years, here the only right solution is to analyze the data and design a system that will make the process easier.
The benefits of analyzing medical data can be: faster delivery of results, making permanent changes, and later designing a new process that will be better, reducing the risk and the number of errors. The first step may be to introduce appropriate programs and artificial intelligence to the health system, which in the future may take on some of the responsibilities. These tools can absorb huge amounts of information and learn from many different types of data.
A heart rate monitor (HRM) is a personal monitoring device that measures heart rate in real-time or records the heart rate for later study. It is commonly used to collect heart rate data while performing various types of activity which are part of the patient’s day-to-day life. Portable medical devices are referred to as Holter Monitor which is designed for everyday use and does not use wires to connect.
Modern heart rate monitors commonly use one of two different methods to record heart signals: electrical and optical. Both types of signals can provide the same basic heart rate data, using fully automated algorithms to measure heart rate.
_ Electrical Devices: The electrical monitors consist of two elements: a monitor/transmitter, which is worn on a chest strap, and a receiver. When a heartbeat is detected a radio signal is transmitted, which the receiver uses to display/determine the current heart rate. This signal can be a simple radio pulse or a unique coded signal from the chest strap.
_ Optical Devices: More recent devices use optics to measure heart rate by shining light from an LED through the skin and measuring how it scatters off blood vessels. Smartwatches and cell phones can be included within this category, but their use for medical purposes is limited even though the accuracy in detecting several diseases increased significantly in recent years. Many professionals recommend anyway their use as support in data collection processes.
# HolterMonitor
A Holter monitor is a small, wearable device that keeps track of your heart rhythm. The doctor may want the patient to wear a Holter monitor for one to two days. During that time, the device records all heartbeats. This procedure can be repeated several times if the medical practitioner requires it to accomplish the goal of the overall study.
A Holter monitor test may be done if a traditional electrocardiogram (ECG) doesn’t deliver enough information about the heart’s condition. A Holter monitor may be able to spot occasionally abnormal heart rhythms that an ECG missed due to the short time that the patient is hooked up to the machine. The medical practitioner uses information captured on the Holter monitor to figure out if the patient has e a heart rhythm problem or a heart condition that increases your risk of an abnormal heart rhythm.
# What Patients say:
After interviewing two patients who had to wear the Holter monitor due to different heart conditions, plus the information collected in different clinical studies, these would be the most significant insights referring to the patient experience:
_ Most of the patients found the device uncomfortable. Sometimes, some of their daily activities were difficult to carry out due to the device.
_ Some patients had difficulty putting the device back on after showering. Due to this, the collected data wasn’t accurate.
_ Even though the majority of patients expressed full trust in their doctors, many did not feel involved in the process. They simply had to “follow orders” but did not understand what kind of data was being measured.
_ Some patients experienced a feeling of vulnerability when they gave the device back to their medical facility. Although the device was uncomfortable to wear, it made them feel safe, assuming that their heart was being controlled. Once they removed it, that feeling of security disappeared.
_ Some patients experienced skin allergies due to the adhesive tape on the device.
# What Doctors say:
After interviewing a cardiology physician and a general practitioner, I was able to gather the following insights:
_ It is difficult to ensure successful measurements with elderly patients due to the technical requirements of the device. The majority of patients using this device are older than 60 and sometimes they need to repeat the procedure more than once.
_ Although the device collects valuable information, some conditions,which might be symptoms of more serious heart problems, go unnoticed. (ex. certain types of arrhythmias).
_ They get frustrated because they cannot find the time to explain all the details of the procedure to their patients and they feel patients’ dissatisfaction and uncertainty.
_ “It takes too long to get the data that we need”. Patients must return the device back to the medical center, then the technicians extract the data from the device by connecting it to their system, then the data are included within the patient’s records and saved in databases. Only then doctors are able to have a clear vision of what is going on with their patients.
# Compared with other Devices for Heartbeat Monitoring:
Despite the fact that the Holter monitor is one of the most used devices to measure the heartbeat even today, for a few years, other heartbeat monitors have been coming onto the market offering significant improvements for patients. This is the case of Zio Patch, from iRythm Tech.
But even though this new monitoring option is more manageable, less cumbersome, and has a higher level of data accuracy than the original Holter Monitor, it requires longer use than the Holter Monitor to detect the same number of conditions. This makes procedures a bit harder to perform with both children and the elderly.
As mentioned before, many smartwatches and mobile phones can provide a service similar to heartbeat monitors but are not capable of perceiving certain abnormalities that may indicate heart problems. They are a very good aid for home use because they measure many different parameters such as oxygen saturation, thanks to the use of sensors including accelerometers, gyroscopes, and GPS.
# Conclusions and Challenges
Finding the ideal device is not easy. Both patients and medical professionals have needs that should be met in order to succeed when going through these procedures, and it seems that if you try to improve one part, the other will get worse.
For me, the main challenge is to rethink the design of the device. It is clear to me, that it needs to be something free of technical assistance. The ease of use must be a basic requirement due to the characteristics of the patients who generally use this type of device.
On the other hand, it should offer some kind of interface that could deliver clear information to patients, making them understand what data is being collected. This is already offered on smartphones or smartwatches.
And last but not least, the data collection. The more accurate data collection in the shortest possible time, the medical professionals will be able to deliver better diagnoses in less time. In this way, they will be able to care about the psychological needs of patients before, during, and after the procedures. In my opinion, finding a way to shorten the process from data collection until professionals can access and evaluate this data, should be a priority.
After a couple of meetings with my supervisor and many hours of research and deliberation, my project idea has finally begun to take shape. My initial plan was to build a Mellotron from used cassette player parts, in which all effects would also be created with magnetic tapes. I soon realized that there is a lot of work done in this domain, leaving me little space for innovation, so I had to reconsider the direction of my project.
My new proposal is the creation of a guitar effect chain that combines different types of obsolete time-based audio effect technologies with the capabilities of modern microcontrollers. The foundation of this idea came to me first, after discovering the Scanner Vibrato & Reverb guitar effect by Analog Outfitters, a hardware entirely made of refurbished Hammond organ parts. Since then I have managed to acquire one of the core elements of this device, the so-called phase shift line, and build an experimental vibrato effect prototype by combining it with an Arduino Uno microcontroller.
Fortunately, my previous research on magnetic tape was not in vain, as it shaped the development of my new project idea Since the initial project would also include audio effects based on magnetic tape technology, I came across several solutions that make it possible to convert portable cassette decks into delay effects. The combination of a cassette tape delay with the aforementioned phase shift line, led to the idea of a multi-effect and thus the concept of an analog delay chain was born. These two components could provide modulation effects such as vibrato, chorus, and various types of delays, but by introducing a spring reverb tank, even more color could be added to the chain.
In order to expand the capabilities of this delay chain, I would add a microcontroller that is responsible for all control processes. This could even enable manipulation via Bluetooth or WLAN and therefore compress the size of the physical interface on the device. Thus, it would be enough to include only a few rotary encoders to control basic operations, such as volume or rate and an LCD module to display these values. But in more detail on these issues in my upcoming blog entries.
Produkte werden seit je her vom Menschen erzeugt, um bestimmte Zwecke zu erfüllen. Der Zeitpunkt ab dem Produkte in einen zwischenmenschlichen Austausch kommen, führt dazu, dass diesen Gegenständen Bedeutungen, Eigenschaften und Werte zugesprochen werden. Design hat eine tiefe, kulturelle Komponente, die den Menschen nicht nur seit seiner Existenz beschäftigt, sondern auch heute eine wichtige Rolle in der Identifizierung etwaiger Kulturkreise Zuspruch findet.
Design ist die planvoll-kreative Visualisierung von Handlungsprozessen und Botschaften von verschiedenen gesellschaftlichen Akteur*Innen und die planvoll-kreative Gestaltung der verschiedenen Funktionen von Gebrauchsgegenständen und ihre Ausrichtung auf die Bedürfnisse der Benutzer*Innen oder auf die Wirkung bei den Rezipient*Innen.
Beate Schneider
Der Einfluss von sozialen Formationen und Handlungsformen hat das Design historisch schon immer in spezifischen Ausprägungen beeinflusst. Dabei ist klar zu erkennen, dass Design stets im Zusammenhang mit Ökonomie steht und dass ökonomische Bedingungen das zeitgenössische Design prägen.
Um dem Design seine Authentizität zu gewähren, ist es von Bedeutung, dass die ökonomische Wahrheit, an die jeweilige Kulturgeschichte des Designs ansetzt. Den größten Einfluss auf die Destruktion dieser Authentizität, stellt die industrielle Revolution in Europa dar. So hat sich die Definition von Tradition, Kultur und Handwerk im Laufe der Zeit verändert. Heute schadet die Konsumkultur, die eine Folge des Industrialismus und des Kapitalismus ist, das ökologische Leben der Ursprünglichkeit. Die Tradition ist vom Aussterben bedroht, da für sie kein Nutzen mehr gefunden wird.
Der Anspruch an zeitgemäßes Design, steht jedoch immer mehr im Fokus. Das postindustrielle Zeitalter verlangt nach neuen, alternativen Lösungen. So wird das Bewusstsein der Konsumenten immer nachhaltiger und der kulturelle Austausch, der besonders der Globalisierung zu verdanken ist, immer wichtiger. Seit der zweiten Hälfte des 20. Jahrhunderts werden nicht nur die wirtschaftlichen, sondern auch soziale, politische, ökologische und ethische Funktionen des Designs berücksichtigt.
Um diesem Problem entgegen zu wirken, gäbe es die Möglichkeit der Tradition einen neuen, zeitgenössischen Nutzen zu verleihen. Die kreative Umsetzung traditioneller Kultur in modernes Design, kann dazu beitragen, dass eine solide Grundlage für die Entwicklung der nationalen Kultur gegeben ist. Gegenstände mit kultureller Authentizität, können den historischen Ursprung bewahren, indem die visuelle und praktische Darstellung dem Objekt eine neue Funktion verleiht.
Quellen:
Schneider, Beate: Design — Eine Einführung: Entwurf im Sozialen, Kulturellen und Wirtschaftlichen Kontext. Walter de Gruyter, 2005.
Ovacık, Mine: Responsible Design Acts in a Graduate Program: Slowing Down for More Qualified Social Life. 2015
Since my work will be implemented in a eurorack system I attempted to find references of existing modules that would do a similar thing. As expected I found no modules where Music-Information-Retrieval is implemented. But there are Modules with which like Pichfollowers, envelope-followers, combinations of those two and separate building blocks.
Doepfer a-196 PLL:
The A-196 PLL is a Phase-locked-loop (PLL) module. PLL-circuits are commonly used in pitch-tracker devices. It is a comparative circuit that compares two oscillating signals in their relative Phase. The A-196 is more of a weird oscillator than a Modulation source but it has 3 different parts one of which is a PLL circuit.
These are quite ‚simple‘ envelope followers which take the amplitude of a signal over time and translate it into an envelope. Every module is its own interpretation of controllable parameters like threshold, attack, release or internal triggers (Buchla). As you might recognize the 230e is not a eurorack format, but as there are not many examples I included a Buchla module.
Also an envelope follower but with a twist. It has more functions one of which is an envelope follower but also a comparator module between two signals.
Analogue Systems RS-35N:
Here the envelope follower is combined with a pitch tracker and a trigger which are the basic values to play a synthesizer voice be it percussive or tonal. It also is equipped with its own set of adjustable parameters to control the inputs and outputs of the signal.
Expert Sleepers Disting mk4:
The Disting Mark 4 is a Digital signal processor which provides many algorithms for modular synthesis. One of those algorithms is a pitch and envelope tracker.
Erica Synths Black Input:
Is not an existing module. it is a concept in unclear development stage. The functions it may provide are the following:
1. Balanced inputs withXLR, 6.3mm TRS and 3.5mm TRS
2. Input preamp with adjustable gain and level indicator
3. Envelope follower with adjustable threshold and rate
4. Gate and Trigger outputs
5. Accurate, low latency monophonic pitch tracker
6. Continuous and quantized (by semitones) CV outputs
Wavetable Synthesizer wurden erstmals in den 1970 von Firmen wie PPG oder Waldorf (Microwave) gebaut. Bands wie Depeche Mode sind bekannt für ihren Sound, der oftmals durch WTS zustande kam. Heutzutage findet man Wavetable Synthesizer hauptsächlich in digitaler Form, nicht zuletzt auch aufgrund der technischen Möglichkeiten. Einer der wohl bekanntesten davon ist wohl “Serum” von Xfer Records, oder “Massive” von Native Instruments.
Ein Unterschied zu anderen Syntheseformen sind die Oszillatoren. Während diese bei beispielsweise der FM Synthese einfache Wellen sind (Sägezahn, Square, Triangle) die im Grunde nur in ihrer Frequenz und Lautstärke moduliert werden können, können die Wellenformen bei wavetables an sich schon verändert werden (durch beispielweise Phase, Distortion etc.)
Eine noch sehr einfache, Sinus-artige Welle.Eine bereits stark veränderte Wellenform.
Unter dem “Table” kann man sich mehrere abgespeicherte oder erstellten Wellenformen übereinandergestapelt vorstellen, die alle für sich schwingen. Mit beispielsweise einem LFO und anderen Modulationsquellen kann man dann zwischen diesen Wellenformen wechseln und einzigartige Klänge bauen. perfekt für Pads, Strings und andere langanhaltende Klänge.
Das Prinzip der ”Schichten” sehr vereinfacht.Das Prinzip der ”Schichten” in der kreativen Anwendung.
GRANULARE SYNTHESE
Diese Syntheseart basiert auf kleinen, idealerweise 10-50 Millisekunden langen Klangpartikeln eines Sounds, genannt “Grains”. Sie können ihren Ursprung in Samples oder in Synthesizer Signalen haben.
Die “Grains” werden dann so schnell hintereinander abgespielt, dass durch den dabei entstehenden Effekt interessante Klangtexturen entstehen können.
Grains werden dabei meist in ihrer Tonhöhe, Phase, Lautstärke, Hüllkurvenparameter usw. Moduliert, um einen lebendigen, sich verändernden Sound zu bekommen.
Zusätzlich können “Wolken” von anderen Grains, die entweder länger sind oder beispielsweise anders moduliert werden dazustoßen.
Granulare Synthesizer sind bisher ausschließlich in digitaler Form zu erhalten. Plugins wie Outputs “Portal” oder Spectrasonics “Omnishpehre” bedienen sich beispielsweise an der Granular Synthese.
PHYSICAL MODELING
Anstatt von schwingenden Oszillatoren, LFOs und Filtern, erzeugen hier mathematische Modelle einen Klang bzw. eine Klangveränderung. Physical Modeling wird daher besonders oft zur Nachbildung echter Instrumente, wie zum Beispiel Geigensaiten oder Trommeln eingesetzt.
Es können sowohl akustische Eigenschaften des Klangs wie zum Beispiel die Festigkeit des Resonanzkörpers, das Verhalten beim Anschlag oder das Zupfen einer Saite, als auch die akustische Umgebung wie ein Konzertsaal oder ähnliches anhand mathematischer Modelle nachgebildet werden.
“Um beispielsweise einen Drum-Sound zu modellieren, kommt eine Formel zum Einsatz, die den Kontakt eines Schlägels/Drum-Sticks auf dem Fell nachbildet. Hier spielen etwa die Eigenschaften des Fells, (Masse, Dichte, Steifheit etc.) oder das Volumen und die Beschaffenheit des Resonanzkörpers der Trommel eine Rolle.”
Meistens gehen die Einstellmöglichkeiten eines Physical Modeling Synthesizers weit über die des nachgeahmten Instruments in der Wirklichkeit hinaus, so kann man beispielsweise das Fell einer Trommel während der Performance größer oder kleiner werden lassen.
Bevor wir uns einige klassische Synthesizer und deren Sound ansehen ist es wichtig, die verschiedenen Arten der Klangsynthese zu verstehen. Denn selbst wenn die Grundlage aller analogen Synthesizer auf elektronischen Bauteilen besteht, ist jede Form der Synthese unterschiedlich. Generell gesprochen gibt es diese 5 Formen:
Subtraktive Synthese
Additivie Synthese
FM-Synthese
Wavetable-Synthese
Granulare Synthese
Physical Modeling
In diesem Blogeintrag werden die ersten 3 dieser Liste genauer beschrieben und erklärt.
SUBTRAKTIVE SYNTHESE
Bei dieser Art der Klangsynthese startet man mit einer einfachen Oszillatorwelle. (je nach Modell hat man hier einige zu Verfügung). Direkt im Anschluss folgt durch diverse Filter eine Bearbeitung dieser Welle. Absenkungen im Bass-, Mitten-, aber auch Höhenbereich formen hier den Basiston, der anschließend auch noch durch LFOs und Hüllkurven moduliert werden kann (mehr dazu später). Ein guter Vergleich wäre jedenfalls der eines Bildhauers, der mit einem undefinierten Marmorblock startet, und sich seine Gewünschte Skulptur (in unserem Fall der Ton) Schritt für Schritt formt.
Da Diese Form durch besagte Filter und Abschwächungen des Signals zu seinem Klang kommt, einigte man sich darauf sie “subtraktive Synthese” zu nennen.
KORG MS-20 SYNTHESIZER
Bei Synthesizern mit subtraktiver Klangsynthese wird man relativ selten bis nie einen Sinuswellen-Oszillator finden, da die anschließenden Filter bei einer solchen Wellenform nicht “greifen” würden. Sie würden lediglich die Lautstärke der Welle beeinflussen. Daher sind nahezu alle subtraktiven Synthesizer mit obertonreichen Wellen bestückt, wie zum Beispiel Sägezahnwellen oder Rechteckswellen.
Der gängigste und weitverbreiteste Filter Typ, der bei diesen Synthesizern zum Einsatz kommt, ist der Low-pass Filter. Durch die “Cutoff” Frequenz, kann man die höheren Anteile eines Tones mit ihm herausfiltern. Natürlich gibt es aber auch andere Filter, die zwar nicht so oft wie der Low-pass vorkommen, aber dennoch eine Daseinsberechtigung haben. Im Endeffekt läuft es aber immer auf eine Sache raus, die den Sound erst richtig interessant macht: Das Modulieren bestimmter Parameter mittels eines LFOs oder das Formen der ADSR Kurve (Hüllkurve).
Auf diese Parameter und Formungsmöglichkeiten kommen wir aber im Blogeintrag 6 nochmal darauf zurück.
Auf die Frage, was ein analoger Synthesizer sei, wird man des Öfteren die Antwort “einer mit subtraktiver Synthese” zu hören bekommen. Selbstverständlich gibt es diese auch schon als digitale Kopien und Nachbauten in Software-Form. Bei ihnen spricht man von “virtuell-analogen” Synthesizern.
Um ein paar Klassiker zu nennen, die sich diese Snyhteseform zunutze machen:
Minimoog
ARP 2600
MS-20
ADDITIVE SYNTHESE
Gegensätzlich zur subtraktiven Synthese, werden hier mehrere Sinuswellen überlagert, welche von Oszillatoren erzeugt werden. Dahinter steckt die Idee, dass man mit dieser Methode nahezu jeden möglichen Ton erzeugen kann – in der Theorie. In der Praxis setzt die Technik hier jedoch immer wieder Grenzen und Hindernisse, welche diese Art von Synthesizer besonders knifflig machen. Jedoch ist es genau das, was “happy little accidents” passieren lässt und dem Synthesizer blühendes Leben einhaucht.
Additive Synthesizer werden oftmals für die Erzeugung Orgel- oder E-Piano ähnlicher Sounds benutzt. Wer den Sound der bekannten “Hammond Orgel” kennt, weiß was gemeint ist.
Im Grunde bieten die meisten additiven Synthesizer Oszillatoren an, mit welchen man einen Ton in seine einzelnen Komponenten aufteilen beziehungsweise zusammenbauen kann (=additiv).
Wer die Fourninsche Analyse kennt weiß, dass ein Ton aus einem Grundton und seinen Obertönen besteht. Bei der additiven Synthese, bildet der am langsamsten schwingende Oszillator diesen Grundton. Alle weiteren Oszillatoren bilden dann die Obertöne. Bei einem Synthesizer mit 4 Oszillatoren würde die 2. Welle doppelt so schnell schwingen wie die erste, die 3. doppelt so schnell wie die zweite, und die 4. doppelt so schnell wie die dritte Welle. Somit würde man einen harmonisch klingenden Ton aufbauen.
Additive Synthese
Technische Schwierigkeiten der additiven Synthese:
Um mit der additiven Synthese einen komplexen Klang zu erzeugen, braucht ein additiver Synthesizer viele Oszillatoren. Jeder davonmüsste idealerweise auch in seiner Tonhöhe und Lautstärke veränderbar sein. Wenn jeder dieser Oszillatoren auch noch mit einer ADSR Hüllkurve ausgestattet wäre, käme man mit 5 Sinuswellen auf eine Anzahl von 30 einzeln ansteuerbaren Parametern. Wären es beispielweise 15 Oszillatoren käme man auf 90.
Wie man anhand dieses Rechenbeispiels erkennen kann, ist die Herausforderung der additiven Synthese die, einen Synthesizer zu bauen, dessen Bedienung trotz etlicher Parameter so einfach und intuitiv wie möglich bleibt.
Da dies – besonders in der analogen Welt – kein einfaches Unterfangen ist, gab es nicht allzu viele additive Synthesizer in der Geschichte. Ein paar wenige bekannte waren jedoch:
Kawai K5
New England Digital Synclavier
Hammond-Orgeln
FM SYNTHESE
m einfachsten Beispiel wird bei der FM Synthese die Frequenz eines Oszillators A durch die Frequenz der Oszillators B moduliert. Die Welle des Oszillators A ist hier die Trägerwelle auch genannt “Carrier”. Osz. B dient hier nur der Modulation und wird “Modulator” genannt.
An dieser Stelle gilt es zu betonen, dass es in der Welt der FM Synthesizer viele unterschiedliche Wege gibt diese Oszillatoren in Relation zu stellen. Diese Ketten, bestehend aus Carrier, Modulator (die einzelnen Bausteine werden – egal ob Carrier oder Modulator – auch “Operator” genannt) nennt man “Algorithmus”.Also nicht die Oszillatoren selbst, sondern die Art und Weise wie diese Operatoren verbunden sind und welcher was moduliert / steuert.
Fm Synthese
Typisch für diese Syntheseart sind glockenartige Timbres, metallisch wirkende Töne und Klänge die an ein E-Piano erinnern. Ebenso möglich und sind fette, knackige Bässe und Bläser-artige Sounds.
Um besagte Klänge zu erzielen, muss die Frequenz des Modulators mindestens 20 Hz betragen. Erst dann spricht man von einer “Audioratenmodulation”. Vibrato wird mit einer Frequenz von bis zu 10 Hz erzeugt.
Bei Synthesizern, die sich der FM Synthese bedienen, findet man oftmals mehrere Oszillatoren/Operatoren. Meist sind es 4-6 Operatoren pro Stimme. Dies und die oftmals durch andere Algorithmen verknüpfbaren Operatoren ermöglichen sehr komplexe Klangformungen und nahezu unendlich Möglichkeiten.
Natürlich gibt es die gegenseitige Modulation zweier Oszillatoren auch in anderen Synthesizern, die nicht FM-Synthese betreiben. Bei ihnen nennt man das dann “cross modulation”.
Der wohl bekannteste Synthesizer der FM- Synthese: der Yamaha DX7
Im Nächsten Blogeintrag: Wavetable und Granularsynthese, Physical Modeling
Kill your darlings. Nachdem die Recherche über Zucker und Konsumverhalten nicht den gewünschten kreativen Workflow erbracht hatte, ist es nun Zeit das Thema zu wechseln und sich auf ein neues zu konzentrieren.
Nun wird die Fotografie als Visuelle Sprache im Grafik Design untersucht. Ziel ist es, die verschiedenen Teilgebiete der Fotografie zu betrachten. Bevor ein Blick auf die Amateur- und Analogfotografie geworfen wird, wird die Visuelle Sprache als solches untersucht. Vielleicht ergeben sich während der Recherche wichtige Rückschlüsse auf das Thema Zucker – denn geplant ist, dass Food Photography und Produktfotografie ebenfalls untersucht werden. Deshalb ist eine Kombination aus diesem Thema und dem bisher recherchierten durchaus möglich.
Als Visuelle Sprache wird eine Form der Kommunikation bezeichnet, die im Gegensatz zur formalen Schriftsprache visuelle Elemente verwendet. Diese Elemente werden gezielt eingesetzt, um eine Idee oder eine Bedeutung visuell zu vermitteln. Beispielsweise können das Linien, Formen, Farben, Texturen und Muster sein, die in bestimmten Skalierungen, Winkel und Proportionen ausgerichtet werden. Die Elemente der visuellen Kommunikation repräsentieren dabei Konzepte im räumlichen Kontext. Sprechen und Lesen basieren auf einem zeitlich linearen Ablauf, wobei die visuelle Kommunikation auch parallel funktioniert. Oftmals werden Infografiken gezielt eingesetzt, da sie mittels Diagrammen, Karten und Symbolen einen bestimmten Inhalt vermitteln und aussagekräftige Beziehungen visualisieren. So können komplexe Daten auf eine prägnante Weise dargestellt werden.
Das Visuelle Denken gehört ebenfalls zur Visuellen Sprache und dient als Grundlage im Entwurfs- und Gestaltungsprozess bei Designern. Skizzen, Scribbles und Zeichnungen dienen als Hilfsmittel und visualisieren den kognitiven Denkprozess. Außerdem vereinfacht das Visuelle Denken Kommunikationsprozesse, in dem eine Idee, die Fragestellung und die möglichen Lösungsansätze visualisiert werden.1 Die angeborene Begabung unterstützt die Fähigkeit, Probleme zu lösen, die Phantasie und die Kreativität. Weiterführend ist die Synästhesie zu nennen, bei der verschiedene Gehirnbereiche auf besondere Art und Weisen miteinander verbunden sind. Dadurch werden bestimmte Wahrnehmungsphänomene und Denkprozesse ermöglicht. Synästhetische Wahrnehmungen zum Beispiel sind farbiges Hören oder konsistente Zuordnen von Farben zu bestimmten Buchstaben oder Zahlen.2
Ein weiterer Teil des Visuellen Denkens umfasst die Semiotik. Auch als Zeichentheorie bekannt, arbeitet die Visuelle Sprache auf einer symbolhaften Ebene mit Elementen und Bilder, bei denen immer der soziale und kulturelle Hintergrund berücksichtigt werden muss.3 Das Gehirn interpretiert das Wahrgenommene und nimmt das empfangene Signal in einer Form von Emotion, Handlung oder Gedanken auf. Die Semiotik ist ein wichtiger Teil der Kommunikationssysteme, denn dadurch kann der zu vermittelnde Inhalt mithilfe der der symbolhaften Ebene aufgenommen und verarbeitet werden.
Die Visuelle Sprache lässt sich also in verschiedenen Teilbereichen gliedern, die alle miteinander verbunden sind. Wie bereits erwähnt, spielen Formen, Farben und Symbole dabei eine wichtige Rolle. Im Design wird stets Inhalt und Information vermittelt, die im Zusammenspiel mit einer Visuellen Sprache eine eigene Inhaltsebene erzeugen. Unterstützt wird diese Inhaltsebene oft mit fotografischen Elementen oder Bildern. Dieser Aspekt wird in den folgenden Blogposts betrachtet, damit verständlich wird, weshalb Fotografie als Teil der Visuellen Sprache gesehen wird.
Quellen:
1 Vgl. Diefenbach, Marc: Workbook Visuelles Denken. Ideen generieren, Kundenskizzen anfertigen, Schibbeln schnell gestalten. BoD – Books on Demand (Hrsg.), 2013, S. 6 2 Vgl. Deutsche Synästhesie Gesellschaft e.V.: Was ist Synästhesie? http://www.synaesthesie.org/de/synaesthesie – Zugriff am 05.01.2022 3 Vgl. Fellbaum, Klaus: Sprachverarbeitung und Sprachübertragung. 2. Auflage, Springer Vieweg, 2012, S. 10
For the Musician–Synthesizer Interface it is important to translate the pitch, Amplitude-envelope and note length. But those are the Basic values that define the most basic values of translating Music into the air. The pitch and the relative length are defined for example by sheet music and the envelope by the Characteristics of the instrument played. The most common envelope found in synthesizers ist the ADSR shape standing for ‚attack‘, duration of the rising ramp of the signal, ‚decay‘, duration of falling ramp of the signal starting after the attack ramp is at its peak value, ‚sustain‘, value of the held signal as long as the gate is open and ‚release‘ duration of the signal falling from the last value to zero after the gate is closed. This is also one of the simplest ways to portray many acoustical instruments in their Amplitude envelopes.
But the timbral structure of sounds are mostly not only described by their amplitude envelopes. Many musical instruments are defined by variations in pitch, and the color of the sound. So the simple amplitude picked-up by an envelope follower is a very basic tool to define the sound of a musician. Furthermore it only draws conclusions of the basic values a musician puts into his instrument. So to capture a musician more fully her expression plays a big role in the interpretation of control voltages.
So how can we define musical expression? As said before in most notation of western music pitch and relative length are written down, things like tempo and dynamics or direction for technique are written down in words or abbreviations. But the finer points of a performance which are mostly inherent to every musicians individuality are much nowhere to be found except the playing of the musician. So the common expression for tempo in italian are widely known as follows roughly from slow to fast: adagissimo, adagio, lento, andante, andantino, allegretto, allegro, presto, prestissimo. (Britanica)
As for dynamics roughly from quiet to loud: piano, pianissimo, mezzo piano, forte, mezzo forte, fortissimo and some changes in dynamics: fortepiano (loud then soft) sforzando (sudden accent) crescendo (gradually louder), diminuendo (gradually softer).
So those are nowadays all the definitions which a composer uses to translate his musical thoughts to the performer. but it wasn’t always like this.
„…[I]n much 17th- and 18th-century music, the composer notated only the main structural notes of the solo part, leaving the performer to improvise ornamental figuration.“
https://www.britannica.com/art/musical-expression
Those figurations or ornamentations gave the musician the freedom to express themselves and influence the tradition of the then current music.
Excerp from a Sonate by Arcangelo Correlli Da Fusignano Opera Quinta
Here you can see the bottom two lines are the composers’ structure of the piece and the top line are the individual ornaments an artist put over the piece.
In modern Midi keyboards, there are several possibilities to record expressions. The widest spread feature is the velocity control. This parameter is controlled by the velocity one hits the keys and thus can be easily added by keyboard performers in their playing like they would playing an acoustic instrument. With the synthesizer and the possibility to create the sound of the instrument individual to the performance also came the possibility to control parameters of a sound which in acoustic or electro-acoustic keyboard instruments with keys and pedals only really possible. The Pitch and Mod wheel were introduced to make such changes possible. The first was a spring-actuated week or stick which was mostly used to modulate the pitch like with a guitar. The other was an adjustable heel with which one could send fixed values or modulate them manually. The fourth modulation source developed for keyboard synthesizers is aftertouch. As the name suggests, it is applied by altering the pressure after the key is depressed. This can be applied mono- or polyphonically. All of those controls added to the expressivity of synthesizer performances mostly. Only one of those controls is determined before the tone or as the tone is generated. The others are applied in the decay of the sound. So those are 4 control values that have been proven to add expressivity in performance.
Ofcourse, these weren’t the only tools that were developed to do very expressive performances, although they are the most common ones. There is a multitude of midi controllers to add expression to an electronic music performance. The expressive E ‘Touché’ or ‘Osmose’, Buchla and Serge capacitive keyboards and joystick-controllers on synths like the EMS Synthy, Korg devices like the Sigma or the Delta and as controller module for Eurorack-, 5U-, Buchla- and Serge-modules.
Other Concepts
Then there are control surfaces that take another approach to the whole concept of the Keyboard entirely. These Concepts go often but not always hand in hand with a synthesizer engine.
HAKEN Continuum
The Haken Continuum for instance is a Synthesizer with a control surface that can detect movement in 3 axes.
The Haken Continuum Fingerboard is an instrument born to be as expressive and as rewarding to play as an acoustic instrument. The uniquely designed sensitive playing surface has been symbiotically merged with its powerful synthesis sound engine to produce a truly unique playing experience. The Continuum is a holistic electronic instrument that puts its player at the heart of a uniquely fluent, gestural and intuitive musical playing experience.
The Roli SEA Technology which is implemented in rolis seaboard controllers is as roli puts it:
“Sensory, Elastic and Adaptive. Highly precise, information-rich, and pressure-sensitive. It enables seamless transitions between discrete and continuous input, and captures three-dimensional gestures while simultaneously providing the user with tactile feedback.”
www.roli.com
Roli Seaboard Rise 49
Linnstrument
The Linnstrument is a control surface developed by famous instrument designer Roger Linn. Interesting here is the approach to not apply a piano-style keyboard but rather use a grid-style keyboard which rather reminds of the tonal layout of string and guitar instruments. With the linnstrument there is also a release velocity recorded which places it even more into guitar territories where pull-offs, when one rapidly pulls of the finger of a string to excite it and thus making it sound, is a standard technique.
So few of the looked at control surfaces if any have more than 4 modulatable values. This would be then a minimum for a module that should be able to translate the expression of an instrumentalist into control voltages.
