音の視覚化：TouchDesignerとLiveを併用するための初心者向けガイド
Nils Frahm作“Says”をグラフィックで表示する音声ホイール（Bileam Tschepe）
エレクトロニックミュージックの歴史を通じて、オーディオビジュアル・アートは、ライブパフォーマンスにおいて、また最近ではオンラインにおいて、音楽の美的アイデンティティに欠かせないものとなっています。 その結果、映像メディアを作品に取り入れる音楽制作者が増えており、音楽の映像表現の限界を超えようと試みる新しい世代のアーティストが続々と誕生しています。
オーディオビジュアル・アートを制作する方法はさまざまですが、ノードベースのプログラミング言語「TouchDesigner」を使って、リアルタイムな映像やその他のメディアベースの作品を制作し、音楽表現を拡張させる人たちが増えてきているといいます。 トロントにあるDerivative社が開発したTouchDesignerは、おもに画像、光、音を使った作品を制作するアーティストのために作られました。 このアプリケーションは通常、ライブパフォーマンスやインスタレーション、オーディオビジュアル、その他の多感覚体験の制作に使用されますが、創造的芸術の枠をはるかに超えて使われることもあります。プロジェクション・マッピング、バーチャル・リアリティ、物理的コンピューティングなど、TouchDesignerはさまざまな方法で人々のアイデアに命を吹き込んでいます。
この初心者向けガイドでは、TouchDesignerについて説明し、このプラットフォームを使ってさまざまな種類のオーディオビジュアル・アートを制作する方法を紹介していきます。 Derivative社の共同設立者であるGreg Hermanovicに加え、ベルリンを拠点とするオーディオビジュアル・アーティスト、Bileam TschepeとIoana Bîleaが解説をしてくれています。 TouchDesignerの歴史、このプラットフォームを学ぶためのリソース、Liveと組み合わされたときに持つ創造的な可能性について、専門知識と見識を共有してくれたことに感謝します。
Greg Hermanovic
Greg Hermanovicは、キャリアの早い段階から、アーティストのためのインタラクティブなツールを作るというアイデアに常に惹かれていました。 グラフィック用のソフトウェアに携わる以前は、航空宇宙分野でパイロットの訓練用のリアルタイムシミュレーターやアメリカのスペースシャトル用のロボットアームを開発していました。 Hermanovicは後にHoudiniのメーカーであるSide Effects Software社を共同設立しており、プロシージャル視覚効果によってアカデミー賞を2度受賞しています。 2000年にはDerivative社を設立し、現在はTouchDesignerの開発チームを率いています。
「TouchDesignerのルーツの大部分はモジュラーとアナログシンセサイザーにあります」とHermanovicは言います。 「最初に手にしたシンセは、EMS Synthi、Arp 2600、そしてMoogを少し触った程度でした。 同時期に、ノーマン・マクラレンの『シンクロミー』のような実験映画にもすごく興味を持っていました。 その当時マクラレンはフィルムに直接描いた映像からサウンドトラックを作っていたんです。 つまり、サウンドトラックが映像であり、映像がサウンドトラックだったわけです。 その2つが融合している、ということに気がついたときにはとても興奮しました」
Elekktronaut
Elekktronautとしても知られるBileam Tschepeは、TouchDesignerを使用して、インタラクティブで有機的なオーディオビジュアル・アートや、インスタレーションの制作、そしてライブパフォーマンスを行っています。 また、Music HackspaceでTouchDesignerのワークショップやミートアップを主催しており、自身のYouTubeチャンネルではTouchDesignerの簡単なチュートリアルビデオを公開しています。 Tschepeは、音楽を聞いたときに見えるイメージや形、色彩について説明しています。 「とても抽象的なものです」と彼は言います。 「説明はできません。 自分が見ているものを形にするのは、本当に難しいときもあります。 ですが、TouchDesignerはそれをするための完璧なツールだと思うんです」
Spherical Aberration
Spherical Aberrationとしても知られるIoana Bîleaにとって、オーディオビジュアル・アートの世界に入ったきっかけは不満からでした。 「ルーマニアで音楽フェスティバルを手伝っていました」と彼女は振り返ります。 「ですが、ずっと音楽制作をやりたいと思っていたんです。 ベルリンに移ってから、女性アーティストを実際に応援してくれるコミュニティと出会うことになりました。 そしてVJのコミュニティが一般的にもっとオープンだとわかったので、最終的にはResolumeでVJを始めることになりました。 でも、それだと特に大きなイベントでは、一晩中そこにいなければならないので、つまらなくなってしまいました。 もっとエンターテインメント性の高い、楽しく使えるツールを探していたんです。 ある夜、友人がTouchDesignerを見せてくれて、これこそ私が求めていたものだとすぐに気がつきました」
TouchDesignerを使用しているアーティスト
視覚効果のキャリアを通じて、Hermanovicは常に音楽カルチャーからインスピレーションと影響を受けてきました。 90年代半ばには、トロントの初期のレイブパーティで、オーディオビジュアル・アーティストとして定期的に参加していました。 これらの経験は、最終的に今日のTouchDesignerに見られる多くの機能を形成していき、制作アイデアを与えることに貢献することになるのです。 「Chemistryというレイブの会社で自主的に映像を担当していました」と彼は振り返ります。 「ライブエディットやライブコーディングなどそういったことをしながら、リアルタイムで壁に絵を映し出そうとしたのを覚えています。 あるイベントでは、長文のコードを打ち込んで、画面上で何かが揺れ動きながら消えていくような表現をしようとしていました。 そしてこれは狂っていると思いました。 パフォーマンス中、周りでつまずいたり、飲み物をキーボードにこぼしたりする人がいて、気が狂いそうになりながらカッコを打とうとしていたんです。 そのときに、よし、このソフトウェアに新しいオペレーティングシステムを入れなければと思い立ち、それを「CHOPS」と名付けたんです。 つまり、CHOPSは多くの苦痛と不便を乗り越えて誕生したものなんです」
90年代後半に偶然出会ったHermanovicとRichie Hawtinは、モントリオールのMutekフェスティバルで、彼らにとって初めてのオーディオビジュアル・コラボレーションを行うこととなりました。 その当時、HawtinはAbleton Liveの初期バージョンとカスタムのMIDIコントローラを使用していましたが、HermanovicはDerivativeで自身のチームとTouchDesignerの初期ビルドに取り組んでいるところでした。 「Richieと一緒に技術を押し進めていき、何曲か作っていました」とHermanovicは振り返ります。 「うまくいったときもありますが、そうでないときもありました。 その後、2010年にPlastikmanとしてのツアーをした際には、より多くの時間、より良い組織、技術を持って行うことができました」
HermanovicとHawtinの先駆的なコラボレーション以来、オーディオ、ビデオ、グラフィックス、データを組み合わせるためにTouchDesignerを使用する人の数は世界中で飛躍的に増えています。このプログラムを使用している有名アーティストとしては、Christopher Bauder、Ben Heim、CLAUDE、Markus Heckmann、Carsten Nicolai（別名Alva Noto）などがあげられます。 彼らはTouchDesignerを使用して、さまざまなプロジェクトで制作に取り組んでいます。 また、彼らの多くはTouchDesignerをプロトタイプや新しいアイデアを開発するためのプラットフォームとして使用しています。
Christopher Bauderは、Robert Henkeとのコラボレーション作品『DEEP WEB』のために自身のスタジオでTouchDesignerを使っていました」とBîleaは振り返ります。 「彼らはベルリンのKraftwerkで巨大なオーディオビジュアルのインスタレーションを行いました。 そして、そこには404zeroなどTouchDesignerを使ってモジュラーシンセのセットアップのための制御信号を生成している人もいました。 また、NONOTAK Studioは、音で光のインスタレーションをコントロールするためにTouchDesignerを使用していました」
以下は、TouchDesignerを使用しているさまざまなアーティストの作品を紹介するYouTubeのプレイリストです。 このプレイリストでは、さまざまな創造的な可能性が紹介されており、自身の作品にこのプラットフォームを活用することに興味を持っていれば、制作意欲を刺激するものとなることでしょう。
TouchDesignerを学ぶ
TouchDesignerは他のプログラミング言語と同様に学習曲線のあるものですが、シンセやLive、Max/MSPの経験がある人にとっては馴染みのあるコンセプトがあるかもしれません。 どのような経験レベルでもTouchDesignerを習得するために利用できる多くのオンラインリソースがあります。 「とにかくまずは始めて、足元を固めていくことからです」とHermanovicはアドバイスしています。 「なので最初は簡単なことからやってみましょう。 そうすればすぐに結果を手にすることができますし、ビルドを続けていくモチベーションになるでしょう」
Music HackspaceはDerivativeと共同で、TouchDesignerを使い始めたばかりの人向けに無料のオンラインコースを提供しています。 加えて、TouchDesignerのプロジェクトに関するプレゼンテーションやディスカッションを行うミートアップが毎月開催されています。 「このコースは初心者やプログラムをしたことのない人たち向けのものとなっています」とTschepeは言います。 「最初は誰しもが同じように基本を学ばなければなりません。 そうしてから、自分の興味のあるものに集中的に取り組めばいいんです。 ミートアップでは毎回、Q&Aに続いてオープンディスカッションをする機会が設けられています。 そして、大抵の場合は誰かしらDerivativeから参加する人がいるはずです」
「Music Hackspaceが行っているミートアップや他のイベントについてとてもいいなと思うのは、自分たちのソフトウェアを使っている人たちがどのように活用しているのかを見ることができることです」とHermanovicは言います。 「なぜならユーザーが実際に何を必要としているかは、彼らから聞くだけではわからないことが多いんです。 それに、TouchDesignerに追加された新しい機能であったりショートカットがユーザーに届いていないことも多いです。 なので、ミートアップのおかげで、新しい機能をよりわかりやすく人々に届けることについて学べるので自分たちにとってもいいレッスンになっています」
TouchDesignerには、Facebookグループ、Derivativeのフォーラム、Discordサーバーを通じて、制作アイデアやノウハウが共有される活発なユーザーコミュニティもあります。 コミュニティは、スキルを持っているユーザーと、学ぶ必要のある人、あるいはコラボレーションの相手を見つけたい人がつながることのできる場所です。
「最初はチュートリアルビデオもなくて、コミュニティもとても小さかったので大変でした」とBîleaは言います。 「ですが、FacebookのグループとGitHubページはありました。 Derivativeのフォーラムにいた人たちはとても親切でした。 質問をすると誰かしらが助けに駆けつけてきてくれるんです。 Paketa 12として知られるAurelian Ionusは、コミュニティに貢献しているとても重要な存在です。 みんな彼からインスピレーションを受けています。 彼はいいアドバイスをくれますし、ほとんど無料でやってくれます。 彼のコーチングなしに、今の私はなかったと思います」
「自分が最初に始めたときは、チュートリアルビデオもそんなになくて、初心者向けのコースはありませんでした」とTschepeは振り返ります。 「Mathew Raganがいなければ、どこから始めていいのかわからなかっただろうと思います。 YouTubeに彼の大学の授業で公開されているものがあります。 始めた当初はこれらのビデオがとても役に立っていました」
TouchDesignerでは、これから始めるユーザー向けに非商用ライセンスが無料で提供されています。
非商用ライセンスでは解像度に制限がありますが、基本的な操作や機能はすべて利用可能であり、個人的な学習や営利目的でないプロジェクトに活用したい人向けのものとなっています。 「私たちは、TouchDesignerをできるだけ多くの人に使ってもらい、気に入ってもらえるかどうか試してみて欲しかったんです」とHermanovicは言います。 「また、お金のあまりない国でも使うことのできるようにするためでもあります。 そうすることで、解像度は低くなりますが、誰でも透かしの入っていないアートを制作することができるようになっています。 プロジェクトによっては、非商用で制限なく最初から最後までできるものもあります」
TouchDesignerを使い始めるために便利なリンク集：
Operatorを理解する
TouchDesignerのOperatorは、プロジェクトに必要となる構成要素または材料と考えることができます。 画像の生成、音声の処理、データの制御など、特定のタスクを実行する小さなノードが基本となります。 これらのOperatorを単独で使用することもできますし、さまざまな方法で組み合わせて、より複雑な動作や効果を作り出すこともできます。 このコンセプトをさらに説明するために、HermanovicはTouchDesignerのOperatorファミリーを元素の周期表になぞらえています。 「すべての要素がそれぞれ違うことをすると考えてみてください。共通した性質などはありません」と彼は言います。 「そして、いくつかの原子が組み合わさって分子となるのです。 そして、その分子は生命を形成する強力なものです。 基本的にはそういった風にTouchDesignerを動作させたかったんです。 どのOperatorも小さいものなのでそれぞれがいい仕事をしてくれて、多すぎる機能で負荷がかかりすぎるということもなく、面白いことがたくさんできるようになっています」
TouchDesignerには、プロジェクトの構築にもっとも基礎的で不可欠とされている16のOperatorのコレクションが備わっており、 “Sweet 16”と呼ばれます。 「これらはもっともよく使われる便利なOperatorであり、知っておいた方がいいものでしょう」とHermanovicは推奨しています。
TouchDesignerには、Componentと呼ばれるOperatorのネットワークがあらかじめ構築されたパレットブラウザーも搭載されています。 これらのComponentをプロジェクトにドラッグアンドドロップして、初心者でもすぐに使い始めることができます。 追加のComponentについては、AlphaMoonbaseのOLIBのライブラリページとChopChopChop.orgからダウンロードすることができます。
Algorhythm
ノードベースのプログラミングにあまり深入りしたくない人のために、Tschepeは現在、ユーザーが音声やその他の入力を使って、生成された映像やメディアを簡単に再生したり操作することを可能とするTouchDesigner用のリアルタイム・インターフェースであるAlgorhythmを開発中です。 Algorhythmによって、ユーザーは大規模なOperatorネットワークをプログラミングすることなく、映像間のフェードやポストエフェクトを追加することができます。 現在、TschepeのPatreonから利用することができます。
TouchDesignerとAbleton Liveを使用したオーディオリアクティブ・ビジュアルの制作
TouchDesignerをLiveと統合して、オーディオリアクティブ・ビジュアルやその他の種類のインタラクティブな体験を制作する方法がいくつかあります。 ひとつのアプローチとして、TouchDesignerを使ってLiveでオーディオクリップやビデオクリップを制御する方法があります。 これは、TouchDesignerからLiveにOSC（Open Sound Control）のメッセージを送信することでできるようになっています。 また、Liveから入力した音声をTouchDesignerで波形やスペクトラムなど、音声データをリアルタイムに可視化する方法もあります。 これは、TouchDesignerの音の周波数を数値化する音声分析ツールを使用して行います。 その後データを上限なくTouchDesignerのOperatorに接続することができ、リアルタイムで音楽を可視化していく無限の可能性をもたらします。
TouchDesignerのAbleton Link CHOPでは、リンクが有効なネットワーク上でタイミング情報を使うことでLiveセットをシンクすることもできます。 さらに、TDAbletonツールにより、双方向の緊密な統合が実現されており、Liveセットで行われているほとんどすべてのことにアクセスが可能となります。 先日リリースされたTDAbleton 2.0 のアップデートでは、Live 11のアレンジメントにおけるクリップ情報へのアクセスや、マクロバリエーションの実行、16すべてのラックマルコへのアクセスも可能になっています。
また、LiveGrabberのMax for Liveプラグインを使用して、LiveとTouchDesigner間でOSC信号を送信することもできます。
「AbletonやVSTなどすでに素晴らしい音声ツールがあることは喜ばしいことです」とHermanovicは言います。 「なので私たちはそれに取り組む必要はありません。 しかし、オーディオの周辺にいることで、オーディオについても話ができるのはとてもいいことだと思います。 TDAbletonの開発はとても素晴らしいものだと思います。 リンクはかなり緊密で、柔軟性がありオープンだというフィードバックを受けています」
オーディオ・リアクティブ・ビジュアルおよびTouchDesignerとLiveの統合に便利なリンク集
適切なコンピュータの選び方
TouchDesignerで使用するコンピュータを選ぶ際には、予算が許す限りもっとも高性能となる構成が推奨されます。 そうすることにより、最良のパフォーマンスの恩恵を受け、より複雑なプロジェクトに取り組むことができるようになります。 コンピュータのスペックを決める上で考慮するべき要素：
- プロセッサー：TouchDesignerはCPUに負荷のかかるアプリケーションであるため、高性能なプロセッサーを搭載していることが重要となります。 コア数が多く、クロック数の高いプロセッサーを探しましょう。
- グラフィックカード：TouchDesignerはグラフィックを多用するため、優れたグラフィックカードが重要となります。 専用のビデオメモリを多く搭載し、GPUアクセラレーションに対応したカードを探しましょう。 また、TouchDesignerの一部の機能は、Nvidia GPUでのみ動作することも忘れないでおきましょう。
- メモリ：TouchDesignerは大容量のメモリを必要とするため、少なくとも16GBのRAMを搭載したコンピュータを探しましょう。
- ストレージ：TouchDesignerのファイルは非常に大きいため、高速で大容量のハードドライブまたはSSDに保存することが重要となります。
- 携帯性：外出先にコンピュータを持ち運ぶ必要がある場合、サイズと重量を考慮する必要があるでしょう。
「厳密に言うと、基本的なことをするのにとても優れたコンピュータは必要ではありません」とTschepeは言います。 「しかし、それではハイエンドな3D作業を行う際には問題が発生してしまいます。 強力なコンピュータが必要になるでしょう。 また、8Kのライブ映像をレンダリングする場合には、当然ながら非常に優れたグラフィックカードが必要になります」
「私はゲーミング・ラップトップ・コンピュータを買いました」とBîleaは言います。「3年前に購入したときは、この種のものとしてはもっとも高性能なものでしたが、 もうすでにそうではなくなりました。 ですが、自分が必要としていることのためには十分なものです。
Nvidiaのグラフィックカードはアップグレードがかなり早いです。 ラップトップ・コンピュータは毎年変えてもいいでしょう」
「一時はSilicon Graphicsに頼んで、ワークステーションを借りたこともありました」とHermanovicは振り返ります。 「とても重いので動かすのに4人が必要で、 値段は25万ドルでした。 それを階段で運び上げて作業場に入れていた人たちがかわいそうでした。 幸いにもハードウェアは非常に手に入りやすくなりました。 ゲーム業界のおかげでグラフィックチップの価格がどんどん下がっているので、本当に助かっています」
制作アイデアを見つける
TouchDesignerでは、オーディオビジュアル・プロジェクトのための制作アイデアを得る方法が多数あります。 音楽フェスティバルや学会などのイベントに参加して、他の人がオーディオビジュアルの技術を使ってどんなことをしているのか見てみるのもひとつの方法です。 また、他のアーティストやデザイナーのポートフォリオから、どんな作品を作っているのかを見てみることもできます。 もちろん、他の芸術の分野に目を向けたり、ときにはコンピュータから離れ、世界に飛び出すことで、無限のアイデアと制作アイデアを得ることができます。
「個人的には、TouchDesignerとは関係のないことからアイデアを得ることが多いです」とHermanovicは言います。 「他の多くの芸術の分野でも、数百年にわたって発展してきた素晴らしいアートがたくさんあります。 昔から絵画や写真に影響を受けてきました。 70年代には、ソーホー地区でアートギャラリーや大規模なアートやインスタレーションが爆発的に増えていたので、ニューヨークによく行っていました。 当時は創造性の宝庫だったんです」
「自分の映像は自然や有機的なテクスチャーから影響を受けています」とBîleaは言います。 「すべてが進化していて、ゆっくりと動くんです。 鋭い輪郭や鮮やかな色はあまり使いません。 自分の音楽も制作アイデアは同じものから得ているので、とてもアンビエントなものです」
「自然界で見たものを再現することも好きです」とTschepeは言います。 「本当に何からでも制作アイデアを得ることができます。 自然な模様があればどこからでもです。 コーヒーカップの中からでさえもです」
Bileam Tschepe作『Forms in Wood』。
この初心者向けガイドから、TouchDesignerとLiveを組み合わせることによる制作の可能性、そして何から始めればいいのかについてを感じていただければと願っています。 スキルを伸ばしたい経験豊富なオーディオビジュアル・アーティストであれ、音、音楽、ビジュアルが交わることによる可能性を探っている初心者であれ、TouchDesignerは探求と表現の機会を豊富に提供するものです。 これらのツールの使い方に厳密なルールはなく、唯一の制限となるのは想像力だけです。 みなさんのアイデアを聞くこと、そして見ることを楽しみにしています。
最新情報をフォローしよう：Derivative｜Elekktronaut｜Spherical Aberration
文／インタビュー：Joseph Joyce｜Phelan Kane
アートワーク：Bileam Tschepe