Klänge visualisieren mit TouchDesigner und Live – ein Leitfaden für Einsteiger:innen
Eine Klangscheibe von Bileam Tschepe als Visualisierung für „Says“ von Nils Frahm
Audiovisuelle Kunst und elektronische Musik gehören schon immer zusammen – im Kontext von Performances und seit einigen Jahren auch online. Immer mehr Musikschaffende arbeiten mit visuellen Medien und bilden eine neue Generation von Künstler:innen, die die Grenzen der visuellen Darstellung von Musik ausloten.
Natürlich gibt es viele verschiedene Möglichkeiten, audiovisuelle Kunst zu schaffen. Gegenwärtig verwenden aber immer mehr Künstler:innen die Node-basierte Programmiersprache TouchDesigner, um ihre Musik mit Echtzeit-Visuals und anderen medienbasierten Elementen anzureichern. TouchDesigner wurde von der in Toronto ansässigen Firma Derivative entwickelt und richtet sich in erster Linie an Künstler:innen, die mit Bild, Licht und Ton arbeiten wollen. Die Anwendung wird meist zur Gestaltung von Live-Performances, Installationen, Musikvisualisierungen und anderen multisensorischen Welten entwickelt. Die Möglichkeiten von TouchDesigner gehen jedoch weit über die bildenden Kunst hinaus. Ob Projection Mapping, Virtual Reality oder Physical Computing: Mit TouchDesigner lassen sich Ideen auf vielfältige Weise zum Leben erwecken.
In diesem Leitfaden für Einsteiger:innen stellen wir TouchDesigner vor und zeigen einige der Möglichkeiten, mit der Plattform audiovisuelle Kunst zu machen. Greg Hermanovic, der Mitbegründer von Derivative, und die Berliner A/V-Künstler:innen Bileam Tschepe und Ioana Bîlea haben uns dabei unterstützt und ihr Fachwissen mit uns geteilt: Sie geben uns Einblicke in die Geschichte von TouchDesigner, in Lernressourcen und das kreative Potenzial der Software im Zusammenspiel mit Live.
Greg Hermanovic
Schon früh in seiner Karriere kam Greg Hermanovic auf die Idee, interaktive Tools für Künstler:innen zu entwickeln. Bevor er begann, im Grafiksoftware-Bereich zu arbeiten, war er in der Luft- und Raumfahrt beschäftigt, wo er Echtzeitsimulatoren für das Pilot:innentraining und den Roboterarm des US Space Shuttle entwickelte. Später war Hermanovic Mitbegründer von Side Effects Software, den Entwickler:innen von Houdini, und erhielt zwei Oscars für seine Arbeit an prozeduralen visuellen Effekten. Im Jahr 2000 wechselte er zu Derivative, wo er derzeit das Entwickler:innenteam von TouchDesigner leitet.
„TouchDesigner ist tief in modularen und analogen Synthesizern verwurzelt“, sagt Hermanovic. „Die ersten Synthesizer, die ich in die Finger bekam, waren der EMS Synthi, der Arp 2600 und ein paar Moog-Synths. Gleichzeitig interessierte ich mich für Experimentalfilme wie Synchromy von Norman McClaren. Damals komponierte McClaren Soundtracks auf Basis von direkt auf Film gezeichneten Bildern. Der Soundtrack war also das Bild – und das Bild war der Soundtrack. Das fand ich wirklich spannend, weil mir klar wurde, wie eng die beiden hier verwoben waren.“
Elekktronaut
Bileam Tschepe alias Elekktronaut nutzt TouchDesigner für interaktive, organische und audiovisuelle Kunst und gestaltet damit Installationen und Live-Performances. Darüber hinaus veranstaltet er TouchDesigner-Workshops und -Meetups im Music Hackspace und hat einen YouTube-Kanal mit leicht verständlichen TouchDesigner-Tutorials. Tschepe beschreibt, wie er beim Musikhören Bilder, Formen und Farben wahrnimmt: „Das ist sehr abstrakt, ich kann eigentlich nicht in Worte fassen, was ich sehe. Aber ich denke, dass TouchDesigner das perfekte Tool dafür ist.“
Spherical Aberration
Für Ioana Bîlea alias Spherical Aberration kam der Einstieg in die audiovisuelle Kunst aus Frustration. „Damals habe ich ein Musikfestival in Rumänien organisiert“, erzählt sie. „Aber ich wollte schon immer Musik machen. Erst in Berlin habe ich eine Community gefunden, die Künstlerinnen wirklich unterstützt. Ich fand, dass die VJ-Community im Allgemeinen offener war, also habe ich schließlich mit Resolume Visuals gemacht. Aber ich fand das irgendwann langweilig, vor allem bei großen Veranstaltungen, bei denen ich die ganze Nacht bleiben musste. Ich suchte nach einem Tool, das mehr Spaß macht. Eines Abends zeigte mir ein Freund TouchDesigner und ich wusste sofort, dass ich genau das gesucht hatte.“
Künstler:innen, die mit TouchDesigner arbeiten
Im Laufe seiner Karriere im Bereich visueller Effekte hat sich Hermanovic immer wieder von der Musikkultur inspirieren und beeinflussen lassen. Mitte der 1990er Jahre nahm er als audiovisueller Künstler regelmäßig an den ersten Raves in Toronto teil. Dies dort gemachten Erfahrungen inspirierten viele der heutigen TouchDesigner-Funktionen. „Ich habe ohne Bezahlung Visuals für eine Rave-Firma namens Chemistry gemacht“, erinnert er sich. „Alles war in Echtzeit – die Projektion, die Bearbeitung und sogar die Programmierung. Bei einer Veranstaltung tippte ich so superlange Codezeilen ein, um Dinge auf der Leinwand zum Wackeln oder zum Verschwinden zu bringen – der reinste Wahnsinn! Ich habe versucht, Klammern zu tippen, während die Leute herumstolperten und ihre Getränke über meine Tastatur kippten. Und das war der Moment, in dem ich dachte: OK, wir müssen ein neues System von Operatoren in unsere Software einbauen: CHOPS. CHOPS wurde entstand also aus eher nervigen Unannehmlichkeiten.“
Ende der 1990er Jahre ebnete eine zufällige Begegnung zwischen Hermanovic und Richie Hawtin den Weg für ihre erste audiovisuelle Zusammenarbeit im Rahmen des Mutek-Festivals in Montreal. Hawtin nutzte damals eine frühe Version von Ableton Live mit einem selbstgebauten MIDI-Controller, während Hermanovic und sein Team bei Derivative an frühen Builds von TouchDesigner arbeiteten. „Richie und ich haben die Technologien zusammengebracht und ein paar Songs komponiert“, erinnert sich Hermanovic. „Manche funktionierten gut, andere nicht. Später machten wir die Plastikman-2010-Tour und hatten dabei viel mehr Zeit, mehr Struktur und eine ausgefeiltere Technologie im Rücken.“
Nach Hermanovics und Hawtins ikonischer Zusammenarbeit stieg die Zahl der TouchDesigner-Anwender:innen sprunghaft. Dazu zählen Christopher Bauder, Ben Heim, CLAUDE, Markus Heckmann, Carsten Nicolai alias Alva Noto und viele weitere renommierte Künstler:innen, die mithilfe der Software Audio, Video, Grafik und Daten kombinieren – oder einfach Ideen entwickeln und ausbauen.
„Christopher Bauders Studio nutzte TouchDesigner für eine Kollaboration namens DEEP WEB mit Robert Henke“, erinnert sich Bîlea. „Sie haben eine riesige audiovisuelle Installation im Kraftwerk in Berlin gemacht. Leute wie 404zero erzeugen mit TouchDesigner Steuersignale für modulare Synthesizer. Und das NONOTAK Studio nutzt die Software, um ihre Lichtinstallationen mit Sound zu steuern.“
Wir haben eine YouTube-Playlist mit Künstler:innen zusammengestellt, die mit TouchDesigner arbeiten und die Bandbreite der kreativen Möglichkeiten aufzeigen.
TouchDesigner lernen
TouchDesigner hat – wie jede Programmiersprache – eine Lernkurve. Wer sich mit Klangsynthese, Live oder Max/MSP auskennt, wird dabei vertraute Konzepte wiedererkennen. Online gibt es heute viele Online-Ressourcen, die Anwender:innen unterschiedlicher Erfahrungsstufen beim Erlernen von TouchDesigner unterstützen. „Irgendwo muss man anfangen und ins kalte Wasser springen“, empfiehlt Hermanovic. „Am besten versucht man sich zuerst etwas Einfachem. So kriegt man schnell Ergebnisse, die zum Weiterbauen motivieren.“
Music Hackspace bietet in Zusammenarbeit mit Derivative einen kostenlosen Online-Kurs für alle an, die gerade erst mit TouchDesigner loslegen. Darüber hinaus veranstaltet Music Hackspace monatliche Treffen mit Präsentationen zu TouchDesigner-Projekten, die auch dem Austausch von Ideen dienen. „Der Kurs ist für Anfänger oder Leute gedacht, die noch nie zuvor programmiert haben“, sagt Tschepe. „Alle müssen sich erstmal mit den gleichen Grundlagen vertraut machen. Später kann man sich dann auf die Gebiete konzentrieren, die einen interessieren. Bei unseren Treffen gibt es immer die Möglichkeit für eine Fragerunde mit anschließender Diskussion. Meistens ist auch jemand von Derivative dabei.“
„Was mir an den Music-Hackspace-Treffen und verwandten Veranstaltungen so gefällt, ist, dass man Leuten über die Schulter schauen kann und sieht, wie die mit unserer Software arbeiten“, erklärt Hermanovic. „Denn oft geht das, was unsere Anwender:innen wirklich brauchen, nicht aus dem hervor, was sie uns sagen. Außerdem übersehen sie wiederum oft die neuen Tricks und Tastenkürzel, die wir in TouchDesigner einbauen. Für uns sind die Treffen also sehr lehrreich: Dort finden wir heraus, wie wir die neuen Funktionen besser sichtbar machen.“
TouchDesigner hat außerdem eine stetig wachsende Gemeinschaft von Anwender:innen, die Inspiration und Wissen über Facebook-Gruppen, das Derivate-Forum und Discord-Server teilen. In der Community können sich fortgeschrittene Nutzer:innen mit Künstler:innen verbinden, die noch am Anfang stehen oder Menschen für Kollaborationen suchen.
„Anfangs war es schwierig, weil es noch keine Tutorials gab und die Community ziemlich klein war“, erzählt Bîlea. „Aber wir hatten eine Facebook-Gruppe und eine GitHub-Seite. Die Leute im Derivative-Forum waren total nett. Man konnte einfach Fragen stellen und bekam immer eine hilfreiche Antwort. Aurelian Ionus alias Paketa 12 war einer der wichtigsten Mitwirkenden – er hat uns alle inspiriert. Er hat viele gute Tipps auf Lager, und viele sind kostenlos. Ohne sein Coaching wäre ich wohl kaum dort, wo ich jetzt bin.“
„Als ich anfing, gab es noch nicht so viele Tutorials und keine Kurse für Einsteiger:innen“, erinnert sich auch Tschepe. „Ohne Mathew Ragan hätte ich gar nicht gewusst, wo ich anfangen soll. Auf YouTube gibt es ein paar seiner Uni-Kurse. Die waren für mich anfangs sehr hilfreich.“
TouchDesigner bietet eine kostenlose, nicht-kommerzielle Lizenz für Einsteiger:innen.
Die Bildschirmauflösung ist hier zwar einschränkt, die grundlegenden Abläufe und Funktionen sind jedoch für alle zugänglich, die sie zum Üben und für unbezahlte Projekte nutzen möchten. „Wir wollten TouchDesigner so vielen Menschen wie möglich zugänglich machen, damit sie schauen können, ob es ihnen gefällt oder nicht“, sagt Hermanovic. „Und wir wollten den Zugang auch in Ländern ermöglichen, in denen man sich die Software eher nicht leisten kann. Die Leute können dann Kunst machen, die eine niedrigere Auflösung hat, aber kein Wasserzeichen. Manche Projekte lassen sich sogar komplett kostenlos und ohne Einschränkungen bewerkstelligen.“
Nützliche Links zum Einstieg in TouchDesigner
Die Operators von TouchDesigner
Operators sind in TouchDesigner die elementaren Bausteine eines Projekts. Kurz gesagt: kleine Knoten, die bestimmte Aufgaben ausführen, zum Beispiel die Bilderzeugung, Audiobearbeitung oder Steuerungsdaten. Diese Operatoren lassen sich einzeln nutzen oder vielfältig kombinieren, um komplexere Abläufe und Effekte zu erzeugen. Um das Konzept genauer zu erklären, vergleicht Hermanovic die Operatorenfamilie von TouchDesigner mit dem Periodensystem der Elemente: „Stell dir vor, dass jedes Element etwas eigenes macht – sie haben keine Gemeinsamkeiten. Und die Elemente verbinden sich zu Molekülen: Mächtige Dinge, die das Leben formen. So sollte TouchDesigner für mich auf der Basisebene funktionieren. Alle Operatoren sind so klein, dass jeder eine gute Aufgabe bekommt und viele interessante Dinge machen kann, ohne mit Funktionen überladen zu werden.“
TouchDesigner beinhaltet sechzehn grundlegende Operatoren, „Sweet 16“ genannt. Nach Hermanovic sind diese die beliebtesten und nützlichsten Operatoren, die jede:r kennen sollte.
TouchDesigner besitzt außerdem einen Palette-Browser mit vorkonfigurierten Netzwerken von Operatoren, die als Komponenten bezeichnet werden. Wer diese Komponenten per Drag and Drop ins Projekt zieht, kann sofort loslegen. Zusätzliche Komponenten können auf der OLIB Library-Website von AlphaMoonbase und ChopChopChop.org heruntergeladen werden.
Algorithmus
Für Anwender:innen, die nicht so tief in die Node-basierte Programmierung eintauchen möchten, entwickelt Tschepe derzeit Algorhythm – ein Echtzeit-Interface für TouchDesigner, das es möglich macht, generative Visuals und Medien mit Audio- und anderen Eingangssignalen einfach wiederzugeben und zu manipulieren. Algorhythm ermöglicht das Überblenden zwischen Visuals und Hinzufügen von Post-Effekten, ohne dafür große Netzwerke von Operatoren programmieren zu müssen. Das Interface ist auf Tschepes Patreon-Seite erhältlich.
Audio-reaktive Visuals mit TouchDesigner und Ableton Live
TouchDesigner kann auf verschiedene Arten in Live integriert werden, um audio-reaktive visuelle Elemente und andere interaktive Ereignisse zu bauen. So kann TouchDesigner etwa zur Steuerung von Audio- und Videoclips in Live genutzt werden. Hierfür können zum Beispiel OSC (Open Sound Control)-Informationen von TouchDesigner an Live gesendet werden. Eine zweite Methode ist die Verwendung von TouchDesigner zur Visualisierung von Audiodaten in Echtzeit, zum Beispiel Wellenformen oder Klangspektren auf Basis des Live-Eingangssignals. Hierfür können TouchDesigners Audioanalyse-Tools genutzt werden, die Tonfrequenzen in numerische Daten umwandeln. Die Daten können dann mit einer beliebigen Anzahl von TouchDesigner-Operatoren verbunden werden, wodurch quasi grenzenlose Möglichkeiten für die Musik-Visualisierung in Echtzeit entstehen.
TouchDesigners Ableton Link CHOP kann außerdem Live-Sets mit Takt-Informationen in einem Link-kompatiblen Netzwerk synchronisieren. Das TDableton-Tool bietet eine Zwei-Wege-Integration und umfassenden Zugriff auf fast alles, was im Live-Set passiert. Das kürzlich veröffentlichte Update TDableton 2.0 ermöglicht den Zugriff auf Clip-Informationen in Live 11-Arrangements. So können die User:innen Makro-Variationen triggern und alle 16 Rack-Makro-Regler steuern.
Alternativ können mit den Max for Live-Plug-ins LiveGrabber OSC-Signale von Live an TouchDesigner gesendet werden.
„Es freut mich, dass es bereits großartige Audio-Tools wie Ableton, VST-Plug-ins und ähnliches gibt“, sagt Hermanovic. „Das ist bei uns also nicht mehr auf dem Zettel. Nur an der Audio-Peripherie zu sein und sich damit austauschen zu können – das ist wirklich gut. Ich finde die Entwicklung von TDAbleton sehr spannend. Das Feedback, das ich darüber bekomme, sagt mir, dass die Verbindung ziemlich eng, flexibel und offen ist.“
Hier findest du nützliche Links zu audio-reaktiven visuals und der Integration von TouchDesigner in Live
- Ableton und TouchDesigner: How to Build Audio & Visual Live Set, mit CLAUDE
- Audio-Reactive Visuals in TouchDesigner, mit Torin Blankensmith
- Make Anything Audio Reactive, mit Bileam Tschepe
- TDAbleton Tutorials, mit Bileam Tschepe
- Beat Detection Tutorial, mit Bileam Tschepe
- Audio Reactive Particle Cloud Tutorial, mit Bileam Tschepe
- Audio Reactive-Artikel auf www.Derivative.ca
Der geeignete Computer
Für die Auswahl eines Computers für TouchDesigner gibt es eine einfache Empfehlung: je leistungsstärker, desto besser. So können auch komplexere Projekte reibungslos umgesetzt werden. Folgende Kriterien sind bei der Anschaffung des Computers zu berücksichtigen:
- Ein Leistungsstarker Prozessor: TouchDesigner kann sehr CPU-intensiv sein. Daher wird ein Prozessor mit einer hohen Anzahl von Kernen und einer hohen Taktrate empfohlen.
- Leistungsstarke Grafikkarte: mit großem dedizierten Videospeicher und Support von GPU-Beschleunigung. Wichtig in dem Zusammenhang ist, dass bestimmte TouchDesigner-Funktionen nur mit Nvidia-GPUs funktionieren.
- Arbeitsspeicher: Für TouchDesigner brauchst du einen Computer mit mindestens 16 GB RAM.
- Festplatte: Da TouchDesigner-Dateien ziemlich groß sein können, ist es wichtig, eine schnelle und große Festplatte oder ein SSD zu haben.
- Portabilität: Wenn du viel mit deinem Computer unterwegs bist, sind dessen Größe und Gewicht ebenfalls wichtige Faktoren.
„Für grundlegende Sachen ist ein normaler Computer ausreichend“, sagt Tschepe. „Aber bei aufwändigen 3D-Arbeiten werden damit schnell Probleme auftauchen. Dafür ist ein wirklich leistungsstarker Computer notwendig. Und für das Rendern einer 8K-Live-Projektion natürlich auch eine wirklich gute Grafikkarte.
„Ich habe mich für einen Gaming-Laptop entschieden“, sagt Bîlea. „Als ich den vor drei Jahren gekauft habe, war er einer der leistungsstärksten seiner Art. Jetzt gerät er schon ins Hintertreffen. Aber er funktioniert immer noch gut für das, was ich brauche.
Allerdings bekommen die Nvidia-Grafikkarten ziemlich schnell Upgrades – wenn man wollte, könnte man deswegen jedes Jahr den Laptop wechseln.“
„Einmal musste ich Silicon Graphics bitten, mir eine ihrer Workstations zu leihen“, erzählt Hermanovic. „Die Dinger waren so schwer – wir mussten die zu viert tragen! Und sie kosteten 250.000 $ pro Stück. Diese armen Leute, die das Ding die Treppen hoch und ins Studio gewuchtet haben. Glücklicherweise ist die Hardware heute viel erschwinglicher. Wir profitieren von der Gaming-Industrie, die die Preise für Grafikchips in den Keller getrieben hat.“
Inspiration finden
Es gibt viele Möglichkeiten, sich für audiovisuelle Projekte in TouchDesigner inspirieren zu lassen. Auf Musikfestivals und Konferenzen kann live erlebt werden, was Menschen mit audiovisueller Technologie auf die Beine stellen. Auch über die Portfolios anderer Künstler:innen und Designer:innen lässt sich herausfinden, was mit TouchDesigner alles möglich ist. Zuletzt entspringen Ideen und Inspiration natürlich auch dem Blick auf andere Kunstformen sowie dem gelegentlichen Schritt weg vom Computer und hinaus in die Welt.
„Ich glaube, dass ich meine Ideen eher aus Dingen ziehe, die gar nichts mit TouchDesigner zu tun haben“, sagt Hermanovic. „Es gibt so viel tolle Kunst in vielen anderen Bereichen, entstanden über Jahrhunderte. Ich bin seit jeher von Malerei und Fotografie beeinflusst. In den 1970er Jahren war ich oft und gerne in New York, wegen der unzähligen Galerien und der großformatigen Kunstwerke und Installationen in Soho. Damals war das eine Hochburg der Kreativität. “
„Meine Visuals sind von der Natur und organischen Texturen inspiriert“, erklärt Bîlea. „Alles entwickelt und bewegt sich langsam. Ich arbeite nur selten mit scharfen Kanten oder leuchtenden Farben. Meine Musik zieht ihre Inspiration aus denselben Quellen und klingt daher sehr atmosphärisch.“
„Ich bilde auch gerne Dinge nach, die ich in der Natur sehe“, sagt Tschepe. Ich kann mich eigentlich von allem inspirieren lassen – überall dort, wo ich natürliche Muster sehe. Das kann sogar das Innere einer Kaffeetasse sein.“
Forms in Wood, von Bileam Tschepe
Erfahre mehr über Derivative, Elekktronaut und Spherical Aberration
Text und Interviews: Joseph Joyce und Phelan Kane
Artwork: Bileam Tschepe