最近もてはやされている機械学習を単に鵜呑みにするのではなく、実際に試してみてはどうだろうか？ 「Magenta Studio」では、オープンソースの機械学習ツールを試すことができる。スタンドアロンとLive内での使用が可能だ。 Magentaは、機械学習という少しわかりにくそうな研究分野で、しっかりと把握しながら入門する方法を提供するプロジェクトだ。 音楽的パターン用の機械学習モデルを利用しやすくすることで、リズムやメロディーの生成と変更を可能にする。
Magenta Studio：Ableton Liveのための無料AIツール
Magenta Studioを無料でダウンロードする
※使用するには、Live 10.1とMax for Liveが必要です。
Magenta Studioが初めて公開されたのは、11月にロサンゼルスで行われたAbletonのカンファレンス「Loop」だった。 Magentaのメンバーたちは「The Computer as Collaborator（コラボレーション相手としてのコンピュータ）」と題されたトークでアーティストに交じって、機械学習がクリエイティビティにとって意味することについて掘り下げた。 参加した2組のアーティストデュオYACHTとlucky dragonsは、“人間らしさ”と“聞くという行為”が音楽にとって意味すること、そして、こうした手段を彼らがどのように試してきたのかについて考察している。 Jesse EngelとAdam Robertsは研究チームGoogle Brainの見解を述べ、工学と音楽を融合してみせた。
そこからさらに磨きをかけたMagenta Studio。今年前半の完全リリースを経て、このプログラムを使用する絶好の準備がついに整った。 Ableton Liveで制作している人は、Magenta Studioをデバイスのセットとして使用することができるようになったのだ。 しかも、JavaScriptを使う人気のクロスプラットフォーム型ツールElectronで構築されているため、スタンドアロン版もある。 開発ができる人であれば、Magenta Studioをさらに掘り下げて、独自の目的のために変更を加えることができる。コマンドラインに少ししか馴染みがない人でも、独自のモデルに学習させることが可能だ （詳しくは後述）。
ロサンゼルスで開発者たちに話を聞けたほか、Magenta Studioの最新ビルドをこれまで使い続けてきている筆者だが、 まずは確認として、一体これは何なのかというところから触れていこう。
AI？
見出しとして“AI”（Artificial Intelligence、人工知能）と書かせてもらった。“ML”（Machine Learning、機械学習）と書いたほうがしっくりするのだろうが、MLの2文字だと何のことかわかってもらえなそうなのでAIにした。
ここでは、機械学習のほうが適切な言葉だ。 MagentaとTensorFlowの基盤部分は、アルゴリズム解析を大量のデータに適用している。 “TensorFlow”と書くと、机の上に置いておく、緊張をほぐすボールの名前みたいに聞こえるが（Tensorには、張筋という意味もある）、 TensorFlowとは、大量のテンソルを非常に高速で処理する仕組みを作成するものだ。テンソルとは、人工ニューラルネットワークなどに組み合わせることのできる幾何学単位を指す。
この機械学習の使用結果を見れば、音楽情報の生成方法や変更方法が異なっていることがわかる。 音楽ソフトウェアでグリッドなどのツールを用いてやってきたことに代わって、より高度な数理モデルを使えるようにしており、異なる結果が生み出されるのを聞くことができる。
シンセサイザーのNSynth（英語）に含まれていたことでMagentaの存在を知っていた人がいるかもしれない。こちらでも、独自のLiveデバイスが2年前にリリースされている。
NSynth（英語）で使われているモデルは、音を別の音に割り当て、その間で数値を算出する。ここでは、今回見ていく技術（ノートやリズムを対象とする技術）が音声そのものに応用されている。 この処理によって生まれるざらついた音は少し変わった独特なもので、一部のユーザーには魅力的であることがわかっている。同じくこちらもLiveでいじりまわすことができる。
この応用例に感動しなかったとしても、ノートとリズムに応用するというアイデアには、Magendaを見直すだけの価値がある。
回帰型ニューラルネットワークは、アルゴリズムで何度も繰り返し反復する（英語）一種の数理モデルだ。 これは、“学習”だと言える。生物学でのニューロンの仕組みをとても低いレベルで構想したものと類似しているという意味でだ。ただし、それは初歩レベルで行われているので、特定のデータセットがあれば、アルゴリズムを反復して実行することは、より効果的にシーケンスを予測できるようになることを意味する。
Magentaの“音楽的な”ライブラリでは、一連の学習原則が音符データに適用される。 そのため、学習に使うデータセットが必要になる。 たとえば、ブルーグラスのメロディーのデータセットをもとにしたモデルを構築すれば、そのモデルから出力される結果は、単旋律のグレゴリオ聖歌やインドネシアのガムランをもとにした場合とは異なってくる。
MagentaとMagenta Studioがオープンソースでよかった理由をひとつ。それは、完全に無料で独自のデータセットを掘り下げて学習させられることだ。 これには、自分のコンピュータやサーバーにせわしなく動いてもらうための知識と時間がもう少し必要になる。つまり、そうするまえにMagenta Studioの良し悪しを最初の結果だけで判断すべきではない、ということでもある。
Magenta Studioの内容
Magenta Studioには、数種類の異なるツールがある。 その多くの基盤となっているのが、MusicVAEだ。MusicVAEは、“複数の異なるメロディーの相互関係へ機械学習をどうやって応用できるか”という点に注目した最近の研究モデルだ。 長い年月にわたってメロデイーとリズムの変容に着目してきた音楽理論家たちは、頻繁に数理モデルを使って、その機能の仕組みをさらに高度に表現しようとしている。 機械学習では、大量のデータセットから情報が取り入れられ、モデルの作成だけでなく、パターン間のモーフィングや、新しいパターンの生成さえも行われる。だからこそ、音楽ソフトウェアにとっておもしろくなるわけだ。
重要なのは、実際に起こっている数学や解析について理解する必要がなく、気にもかけなくていいことだ。つまり、見識の高い数学者であろうと、アマチュア・ミュージシャンであろうと、出力される結果を同じように聞いて判断できる。 興味のある人は、そうしたMusicVAEの研究概要を読むことができる（英語）。 ただし、まずはとりあえず使ってみて、どんな結果になるのかを実際に見たほうがいい。 そしていまなら、YouTubeの映像デモや曲の抜粋例を単に視聴するかわりに、自分でMagenta Studioのツールをインタラクティブに試すことができるようになっている。
音楽ソフトウェアでグリッドなどのツールを用いてやってきたことに代わって、より高度な数理モデルを使えるようにしており、異なる結果が生み出されるのを聞くことができる。
Magenta Studioでは、Ableton Liveのセッションビューで直接MIDIデータを扱える。 新しいクリップを作成すると（作成済みのクリップを入力に使うこともできる）、インストゥルメントやドラムラックの操作に使えるMIDIとしてMagenta Studioのデバイスが結果を出力する。 “Temperature”というスライドもあり、モデルを数学的にサンプリングする方式を決定する。 これはランダムネスの調節とは違うものだ（そのため、Temperatureという違う名前が採用された）。結果の予測がどれだけ可能／不可能になるかを制御する点は同じだが、その操作と結果が完全に一定の関係にあるわけではない。 ほかには、バリエーションの数や小節の長さを選ぶことができる。
こうしたツールの学習に使うデータは、何百万ものメロディーとリズムに相当する。 これには、かなり汎用で普通の結果になるデータセットが選ばれている。汎用で普通というのは、西洋音楽の文脈での話だ。 Liveのユーザーインターフェースは、一般的にイメージされるドラムキットや、メロディーを奏でるための12平均律のピアノロールなどで構成されているので、このデータ学習と相性がいい。余談ではあるが、もちろん、こうした標準化自体に対する文化的に親和性が存在するのは間違いないだろう。
Magenta Studioで使えるのは、次のとおり。
Generate
入力を必要とすることなく、新しいメロディーやリズムを作成する。サイコロを振って、何が出るのかをチェックするのと同じだ。とはいえ、機械学習のスタイルなので、完全にランダムではない。
Continue
こちらのほうが、Magenta Studioの研究で意図していたことに少し近い。パターンの最初になる部分を入力すると、続く部分をContinueが予測してパターンを生成する。 つまり、単一のクリップを使って、それを完成させたり、ひとつのアイデアからたくさんのバリエーションやそこに連なるものを生成できる。
Interpolate
ひとつのクリップではなく、ふたつのクリップを使う。融合や、ふたつのクリップ間でモーフィングを行う。
Groove
タイミングやベロシティを調節して、特定の印象になるまでクリップに“人間味”を加える。 おそらくこれが、Magenta Studioのなかでもっともおもしろい。ほかよりも少し狙いが明確で、これまでのソフトウェアではあまり上手にできなかったことをすぐにやってのける。 使われているデータセットでは、本物のドラマーの演奏15時間分が中心となっているため、Grooveの生み出す結果には音楽的な具体性がある。 パーセンテージでグルーヴを調節するこれまでの簡素なやり方よりも、ほぼ間違いなく、“人間味”という言葉からイメージする音に近いものが手に入る。 そしてもちろん、クオンタイズされた録音をもっとおもしろい音に変化させる。
Drumify
Grooveと同じデータセットだが、Drumifyでは、入力のグルーヴをもとにして新しいクリップが作成される。 “ソフトウェア「Band-in-a-Box」のリズムがひどくないやつ”という感じだ （開発者の方、すみません……）。入力で“伴奏”している打楽器に効果を発揮する。
結局のところ便利なの？
ソフトウェアで機械学習の類いを使うのは、非人間的で非音楽的に思えるかもしれない。 しかし、楽器を手に取ったり、楽譜を読んだりした瞬間から、音楽の型（モデル）と作業しているのだ。 そして、そのモデルは、演奏や思考の在り方に影響を与える。
Magentaのようなものを使うときに肝心なのは、音楽的に有用な結果が本当に得られるかどうかだろう。 筆者にとって、Grooveは実におもしろい。 Grooveでは、実質、型にはまっていないグルーブのクオンタイズが行える。ある程度決まったバリエーションをグリッドに適用するのではなく、入力データにもとづいて順応する高度なモデルだからだ。 異なる学習用データセットにすれば、異なるグルーヴを得られる。 Drumifyがおもしろいのも同じ理由だ。
Generateもおもしろい。ただし、Continueの場合でもそうだが、大事なのは、こうしたツールは具体的に何かを解決するというよりも、自分の意図に反するものをおもしろく提示してくれるところだ。 これは、易経やランダマイズ機能を用いるのにとても似ていて（易経の例には、John Cageなどがいるし、ランダマイズ機能はプラグインで誰もが使っているだろう）、スタジオやどこかの制作環境に独りでいても、普段の習慣から抜け出して何か意外なものを生み出すことができる。
ここでひとつ気になるシンプルな点は、ひとつのシーケンスのモデルが音楽の完全なモデルではないところだ。 単旋律の音楽ですら、重み、表現、音色といった要素が考慮される。 つまり理論的には、そうした要素のそれぞれを新しい尺度として機械学習モデルに取り込むことができる。チャント（詠唱）を例に挙げるならば、 作曲家は曲を考えるなかで、数値化しにくい要素を扱っている。文章の意味や音、典礼での持ち場、複層に重なる引用句、別作品への参照などだ。 チャントはもっとも単純なケースで、ほかにも、パンク、テクノ、ピアノソナタといった音楽が、Magentaでこうしたモデルに挑むことになる。
スタジオやどこかの制作環境に独りでいても、普段の習慣から抜け出して何か意外なものを生み出すことができる。
この話題を出したのは、Magentaというプロジェクトを無下にしたいからではない。その逆で、こうしたことを知っていれば、機械学習を取り入れるような音楽作業がもっと楽しくなるからだ。
Magenta Studioを使い始めた瞬間、自分という人間が入力になって機械学習エンジンの優れた統計能力をすでに拡張していることになる。 自分の好む結果を選び、 自分で楽器の編成を決め、 自分の耳を使ってTemperatureのスライダーを調節する。実際のところ、どのように設定“すべき”かについて本当に数学的な指示が出るときはあまりない。
つまり、こうしたモデルを深く掘り下げられるコンピュータのプロなら、新しい結果を生み出すこともできるというわけだ。 クオンタイズ機能に使える新しいアプリケーションは今も模索中で、1980年代から変化していない。 Magentaのようなツールなら、音楽に適用するまったく新しい数理技術が大量に手に入る。 データセットを変更したり、収録プラグインに小規模な変更を加えたりすれば、かなり異なる結果が生じることもあり得る。
ついでに言うなら、Magenta Studioを週末に使って飽きてしまい、自分の音楽の練習に戻っても構わない。それでも有益なのだ。
次に目指すところ
世の中にはAIソリューションを売っている人がたくさん出回っている。そしてもちろん、これだけ話題になっていると、あてにならないものが多い。 しかし、Magentaのチームと話をした体験はそれとは違う。その理由の一部は、チームが純粋に研究へ従事していることだ。 Max MathewsとともにBell Labs（ベル研究所）でコンピュータによる音響合成を初めて開発したチームのように、彼らの活動はこれまでの純粋な技術探究の歴史と同線上にある。 Magentaは開かれている。そして同時に終わりがない。
MagentaのJesse Engelは次のように語っている。「わたしたちは研究グループです。Googleの製品グループではありません。つまり、Magenta Studioはここで変化しなくなるわけではなく、今後、もっとおもしろいモデルが出てくるだろうということです。 もっとすばらしいMIDI生成、最先端の聞き取り機能、コントローラの新しい枠組みなどですね（いずれのリンクも英語）。
わたしたちのゴールは、これは手段なんだと理解してもらうことです。進行中の研究と実際の音楽制作の間にあるギャップを埋めるために、わたしたちが作り上げてきた手段なんだって。わたしたちの研究にはフィードバックが重要ですから」
ということで音楽制作者諸君、ぜひともお試しあれ！
Magenta Studioを無料でダウンロードする
※使用するには、Live 10.1とMax for Liveが必要です。
文：Peter Kim
この記事の別バージョンがCreate Digital Music（英語）に掲載されています。