Magenta Studio: Kostenlose KI-Tools für Ableton Live

Man kann den aktuellen Hype um lernfähige Maschinen so akzeptieren, doch warum nicht einfach die Probe aufs Exempel machen? Magenta Studio gibt Ihnen die Möglichkeit, mit Open Source Tools für maschinelle Lernverfahren zu experimentieren, unabhängig oder in Ableton Live. Magenta ermöglicht einen gut greifbaren Zugang zu einem Forschungsfeld, das schnell undurchsichtig werden kann. Durch einen einfachen Einstieg in Modelle maschinellen Lernens für musikalische Muster, lassen sich Rhythmen und Melodien generieren und modifizieren.

Laden Sie Magenta Studio kostenlos herunter

Ableton Live 10.1 und Max for Live erforderlich

Im November bei der Ableton Loop Konferenz in LA trat Magenta Studio zum ersten Mal in die Öffentlichkeit. Bei einer Gesprächsrunde mit dem Titel “The Computer as Collaborator” schlossen sie sich dort mit Künstlern zusammen, um herauszufinden, was maschinelles Lernen für Kreativität bedeuten kann. Die Künstlerduos YACHT und Lucky Dragons stellten Überlegungen zu der Bedeutung von Menschlichsein und Zuhören für die Musik an und berichteten von ihren Experimenten mit diesen Medien – wobei YACHT schon so weit gingen, Lyrics und Melodien zu generieren. Jesse Engel und Adam Roberts trugen Erfahrungen aus dem Google Brain Forschungsteam bei, wo Technik und Musik kombiniert werden:

Nach ein wenig Feinschliff ist Magenta Studio nun seit dem diesjährigen Release einsatzbereit. Wenn Sie mit Ableton Live arbeiten, können Sie Magenta Studio als ein Set von Effekten nutzen. Da diese mit Electron (einem gängigen betriebssystemübergreifenden JavaScript-Tool) gebaut sind, gibt es dennoch auch eine unabhängige Version. Und: falls Sie Entwickler sind, können Sie viel tiefer in die Tools eintauchen und diese für Ihre Zwecke modifizieren – selbst wenn Sie nur ein wenig mit der Befehlszeile vertraut sind, können Sie Ihre eigenen Modelle lernen lassen (mehr dazu ein wenig später).

Ich hatte die Gelegenheit, in LA mit den Entwicklern zu sprechen und die neuesten Builds von Magenta Studio auszuprobieren. Aber gehen wir zunächst einen Schritt zurück und sprechen darüber, was das alles eigentlich bedeutet.  

KI?

Künstliche Intelligenz – ich bitte um Entschuldigung, ich hätte auch die Buchstaben “ML” in die Überschrift setzen können, doch dann hätte niemand gewusst, wovon ich rede.

Maschinelles Lernen ist der treffendere Begriff. Magenta und TensorFlow basieren auf der Anwendung einer algorithmischen Analyse auf große Datenmengen. “TensorFlow” klingt vielleicht wie einer dieser Anti-Stress-Bälle, die Sie vielleicht auf Ihrem Schreibtisch haben. Tatsächlich geht es aber darum, eine Maschine zu erschaffen, die sehr schnell eine große Anzahl an Tensoren verarbeiten kann – geometrische Einheiten, die z.B. zu künstlichen Nervennetzwerken kombiniert werden können.

Die Ergebnisse dieses maschinellen Lernens in Aktion zu sehen, zeigt eine andere Art auf, musikalische Informationen zu generieren und zu modifizieren. Es legt Ihre Nutzung von Musiksoftware-Tools wie Rastern zu Grunde und lässt Sie mit einem mathematischen Modell arbeiten, das differenzierter ist – und andere Ergebnisse liefert, die man hören kann.  

Vielleicht kennen Sie Magenta aus deren Mitwirkung beim NSynth Synthesizer. Dieser hat auch vor einigen Jahren seinen eigenen Ableton-Effekt bekommen.

NSynth benutzt Modelle, um Sounds einander zuzuweisen und zwischen ihnen zu interpolieren – es wendet sogar die Techniken, die wir in diesem Fall sehen werden (für Noten/Rhythmen) auf das Audio selbst an. Manche der gröberen Störeffekte, die in diesem Prozess entstanden, stießen bei einigen Usern auf Interesse, da sie eine recht einzigartige Qualität aufweisen – und damit kann man wieder in Ableton Live spielen.

Doch selbst wenn diese Anwendung Sie nicht beeindruckt hat – auf der Suche nach neuen Klangfarben für Ihre Instrumente lohnt sich noch ein Blick auf die Ideen zu Noten/Rhythmus.

Rekurrente neurale Netzwerke sind eine Art mathematisches Modell, das auf Basis eines Algorithmus wieder und wieder loopt. Wir benutzen den Begriff “Lernen” in dem Sinne, dass es Parallelen zu einer sehr vereinfachten Vorstellung davon gibt, wie Neuronen in der Biologie funktionieren, doch auf einem noch einfacheren Level – einen Algorithmus wiederholt ablaufen zu lassen, bedeutet, dass man Sequenzen innerhalb eines vorgegebenen Datensatzes immer besser vorhersehen kann.

Die “musikalische” Library von Magenta wendet eine Reihe von Lernprinzipien auf Daten musikalischer Noten an. Das bedeutet, sie benötigt einen Satz von Daten, an denen sie “üben” kann – und ein Teil Ihrer Resultate basieren auf dieser Übungs-Menge. Bauen Sie beispielsweise ein Modell auf Basis eines Datensatzes mit Bluegrass-Melodien; dann werden Sie andere Outputs von dem Modell erhalten, als wenn Sie ihm gregorianische Choräle oder indonesischen Gamelan zu Grunde gelegt hätten.

Einer der Vorteile, dass Magenta und Magenta Studio Open Source sind, ist dass Sie vollkommen frei sind, einzusteigen und Ihre es eigenen Datensätze lernen zu lassen. (Das erfordert etwas Kenntnis und bringt Ihren Computer oder Server unter Umständen etwas an seine Grenzen, doch es bedeutet auch, dass Sie Magenta Studios nicht lediglich anhand dieser ersten Ergebnisse beurteilen sollten.)

Was steckt in Magenta Studio?

Magenta Studio verfügt über einige unterschiedliche Tools. Viele basieren auf MusikVAE – einem Forschungsmodell neueren Datums, das sich damit beschäftigt, wie maschinelles Lernen darauf angewendet werden kann, wie unterschiedliche Melodien auf einander Bezug nehmen. Musiktheoretiker haben sich lange mit melodischen und rhythmischen Transformationen beschäftigt und für differenziertere Beschreibungen von deren Funktionen häufig zu mathematischen Modelle gegriffen. Maschinelles Lernen ermöglicht Ihnen, mit großen Datensätzen zu arbeiten, um dann nicht nur ein Modell herzustellen, sondern auch zwischen den Mustern zu morphen und sogar neue zu generieren – und das ist der Grund, warum dies für Musiksoftware von Interesse ist.

Entscheidend ist, dass Sie die Mathematik und Analyse, die hier abläuft, nicht verstehen oder sich gar besonders darum kümmern müssen – Mathematikexperten und Amateurmusiker können die Ergebnisse gleichermaßen hören und beurteilen. Falls Sie eine Zusammenfassung dieser MusicVAE Research lesen möchten, können Sie das tun. Doch es ist viel besser, einfach einzutauchen und sich erst von den Ergebnissen zu überzeugen. Und anstatt nur ein YouTube Demo-Video oder den Ausschnitt eines Beispielsongs anzusehen, können Sie jetzt interaktiv mit den Tools spielen.

Mit Magenta Studio können Sie mit MIDI-Daten arbeiten, direkt in Ihrer Ableton Live Session-Ansicht. Sie können neue Clips erstellen – manchmal beginnen Sie mit bestehenden Clips, die Sie importiert haben – und das Gerät gibt die Ergebnisse als MIDI aus, die Sie benutzen können, um Instrumente und Drum Racks zu steuern. Es gibt auch einen Reiter mit Namen “Temperature”, der bestimmt, wie das Modell mathematisch gesampelt wird. Das entspricht zwar nicht genau der Einstellung von Zufälligkeit – daher die Wahl einer anderen Bezeichnung – aber es gibt Ihnen eine gewisse Kontrolle über die Vorhersehbarkeit oder Unvorhersehbarkeit Ihrer Ergebnisse (wenn Sie auch hinnehmen, dass die Relation nicht vollkommen linear ist). Zudem können Sie die Anzahl der Variationen und Länge der Raster wählen.

Die Daten, an denen diese Tools trainiert wurden, repräsentieren Millionen von Melodien und Rhythmen. Das heißt, es wurde ein Datensatz ausgesucht, der Ihnen einigermaßen generische, konventionelle Ergebnisse liefern wird – im Kontext westlicher Musik, versteht sich. (Und das Interface von Live ist weitestgehend entsprechend der Erwartungen, was ein Drum Kit ist, eingestellt sowie mit Melodien, die sich an einem 12-schrittigen gleichmäßig temperierten Klavier orientieren, so dass sie in das Interface passen… nicht nötig zu erwähnen, dass es wohl eine gewisse kulturelle Affinität zu dieser Standardisierung und dem Gedanken, eine solche Art von maschinellen Lernmodellen zu bauen, gibt, aber ich schweife ab.)

Dies sind Ihre Optionen:

Generate

Dabei entsteht eine Melodie oder ein Rhythmus ohne dass ein Input erforderlich ist – das entspricht dem Werfen eines Würfels (ähm, im Stil von maschinellem Lernen, also nicht wirklich zufällig) und Sie hören dann, was dabei herauskommt.

Continue

Dies kommt dem näher, was Magenta Studio in seinen Forschungen eigentlich leisten sollte – Sie geben den Anfang eines Musters vor, und die Software springt dort ein, wo sie vorhersieht, wie das Muster weitergehen könnte. Das heißt, Sie können einen einzelnen Clip nehmen und ihn fertigstellen – oder schnell verschiedene Variationen/Fortsetzungen einer Idee generieren.

Interpolate

Anstelle nur eines Clips, nehmen Sie zwei Clips und wechseln/morphen Sie zwischen ihnen hin- und her.

Groove

Damit können Sie Timing und Velocity anpassen und auf ein bestimmtes Feeling hin “vermenschlichen”. Das ist vermutlich der spannendste Faktor, da er etwas fokussierter ist – und augenblicklich ein Problem behebt, das Software in der Vergangenheit nicht besonders gut lösen konnte. Da der Datensatz auf 15 Stunden mit echtem Schlagzeug basiert, klingen die Resultate hier musikspezifischer. Und Sie erhalten eine “Vermenschlichung”, die (vermutlich) dem näher kommt, was Sie zu hören erwarten im Vergleich zu den primitiven prozentsatzbasierten Schablonen, die man bisher kennt. Und ja: quantisierte Aufnahmen klingen dadurch interessanter.

Drumify

Drumify benutzt den gleichen Datensatz wie Groove, erstellt aber einen neuen Clip basierend auf dem Groove des Inputs. Es ist ungefähr so als wären Band-in-a-Box-Rhythmen nicht... furchtbar, einfach ausgedrückt (Entschuldigung an die Entwickler von Band-in-a-Box). Es funktioniert also gut für Percussions, die einen Input 'begleiten'.

Also, ist es nützlich?

Es mag unmenschlich oder unmusikalisch wirken, maschinelles Lernen welcher Art auch immer in Software zu nutzen. Doch sobald Sie zu einem Instrument greifen oder Noten lesen, arbeiten Sie mit einem Modell von Musik. Und dieses Modell beeinflusst, wie Sie spielen und denken.

Doch worum es bei etwas wie Magenta eigentlich geht ist: erzielt man wirklich musikalisch nützliche Ergebnisse? Für mich ist Groove wirklich interessant. Es ermöglicht effektiv, dass man mit weniger steifer Groove-Quantisierung auskommt, weil Sie anstelle vorgegebener Variationen, die auf ein Raster angewendet werden, ein viel differenzierteres Modell bekommen, das sich basierend auf Ihrem Input anpasst. Drumify ist aus demselben Grund überzeugend.

Generate macht auch Spaß, obwohl wie auch bei Continue das Problem darin besteht, dass diese Tools nicht wirklich zur Problemlösung dienen, jedoch auf unterhaltsame Weise Ihre eigenen Absichten durchkreuzen können. Das heißt, Sie können wie beim I Ching (siehe John Cage, u.a.) oder der Randomisierungsfunktion (siehe… wir alle, mit ein-zwei Plug-Ins) Ihre typischen Gewohnheiten durchbrechen und etwas Überraschendes erschaffen, selbst wenn Sie allein im Studio oder einem anderen Arbeitsumfeld sind.

Ein ganz simples Problem ist, dass ein Modell einer Sequenz kein Modell von Musik ist. Sogar einstimmige Musik kann mit Gewicht, Ausdruck, Timbre arbeiten. Ja, theoretisch kann man all diese Elemente als neue Dimensionen anwenden und sie den maschinellen Lernmodellen eingeben,, aber – nehmen wir Choralmusik als Beispiel: Komponisten haben während des Prozesses auch mit weniger quantitativ bestimmbaren Elementen gearbeitet, wie z.B. der Bedeutung des Textes, dem Zeitpunkt im Gottesdienst, vielschichtigen Zitaten und Referenzen auf andere Kompositionen. Und das ist der einfachste Fall – Musik von Punk über Techno bis Klaviersonaten wird für diese Modelle in Magenta eine Herausforderung darstellen.

Ich erwähne dies nicht, weil ich Magenta abwerten will – im Gegenteil, wenn Sie sich dieser Dinge bewusst sind, werden Sie mit einem Musikspielzeug wie diesem noch mehr Freude haben.

In dem Moment, in dem Sie Magenta Studio zum ersten Mal nutzen, erweitern Sie schon einige der statistischen Fähigkeiten des maschinellen Lernmotors mit Ihrem menschlichen Input. Sie wählen aus, welche Ergebnisse Ihnen zusagen. Sie fügen die Instrumentierung ein. Sie passen den Temperature-Reiter mit Ihrem Ohr an – wo es tatsächlich oft keinen realen mathematischen Indikator gibt, wie er “richtig” eingestellt sein sollte.  

Das bedeutet, dass jemand, der sich in diese Modelle einhackt, auch neue Ergebnisse produzieren kann. Es werden immer neue Anwendungen für Quantisierungsfunktionen gefunden, die sich seit den 80er Jahren nicht verändert haben. Mit Tools wie Magenta bekommen wir eine ganze Reihe von mathematischen Techniken, die wir auf die Musik anwenden können. Mit Veränderungen des Datensatzes oder geringfügigen Modifikationen lassen sich sehr unterschiedliche Resultate erzielen. 

Und daher ist es schon ein Gewinn, selbst wenn Sie nur für ein Wochenende mit Magenta Studio herumspielen, und danach genug davon haben und weiter Ihre eigene Musik machen.

Wo es hingehen könnte

Es gibt viele Anbieter, die “KI”-Lösungen verkaufen – und ja, natürlich ist das nicht selten viel Lärm um nichts. Aber das ist nicht die Erfahrung, die man macht, wenn man mit dem Magenta-Team spricht, zum Teil auch deshalb, weil es sehr in der reinen Forschung involviert ist. Damit reiht es sich in die Geschichte ein mit rein technischen Untersuchungen, wie dem dem Team bei Bell Labs (mit Max Matthews), das als erstes Computersynthesis ermöglichte. Magenta ist offen, aber auch ergebnisoffen.

Wie Jesse Engel von Magenta es ausdrückt: “Wir sind eine Forschungsgruppe (keine Google Produktgruppe), was bedeutet, dass Magenta Studio nicht statisch ist, sondern zukünftig vermutlich noch viel mehr interessante Modelle zu bieten hat. Dinge wie eine eindrucksvollere MIDI Generation, hochmoderne Transkription, und neue Steuerungs-Paradigmen.

Unser Ziel ist ist es einfach, das Verständnis zu vermitteln, dass dies ein Weg ist, den wir freigelegt haben, um die Lücke zwischen der aktuellen Forschung und tatsächlichem Musikmachen zu schließen, denn Feedback ist wichtig für unsere Forschung.

Also, Musikschaffende – legen Sie los:

Laden Sie Magenta Studio kostenlos herunter

Ableton Live 10.1 und Max for Live erforderlich

Text: Peter Kirn
Eine Version dieses Artikels erschien bei Create Digital Music