Liveの無料ツールが切り開く新世界：3D空間音声／VR／AR

アーティストのChristopher Willitsによる運営のもと、3Dサウンドの新たな可能性を切り開く非営利組織Envelopが、Live 10で使える無料の空間音声ツールをリリースした。

空間音声とは？

まず、空間音声について知っておこう。3次元で音を聞くというのは、なにもハイテクな仕掛けであるわけはない。わたしたちの耳は普通に3次元で音を聞き取っている。実際の仕組みは複雑で、Wikipediaの概要説明ですら難解な内容だ。しかし、目を閉じて、頭を少し傾けて、注意して周囲の音を聞いてみてほしい。そこには空間が広がっていることに気付くはずだ。

音声がモノラルからステレオになるときも、空間が音声ミックスに変化を与える。それにより、新しい方法で音素材の明瞭度や構成を表現することが可能になり、空間のインパクトをまったくの別物へと変容させる。そこで今度は、ホームリスニングやパフォーマンスでも3次元の音楽体験があってもいいのでは？ というわけだ。

感覚的に、3Dサウンドは3Dビジュアルよりもかなり自然な印象だ。頭に変な装置をつけたり、普段とは違う映像に方向感覚を慣らしたり、19世紀の立体錯視的なものに頼る必要もない。一方、音は空気と同じく実に一時的なものであり、3Dサウンドになってもそれは変わらない。

では、何が私たちを引き止めているのだろうか？ ステレオサウンドには、音声処理からスピーカーにいたるまでの一連の機材が必要だったが、そうした処理構造は3Dサウンド用に急速に進化しており、映画館の専売特許ではなくなってきている。

しかし、ステレオサウンドには必要なものが他にもある。パンニング機能付きのミキサーだ。ステレオサウンドが生まれたのは、ツールによってミュージシャンがステレオサウンドを利用できるようになったからだ。

Envelopによって新たに開発されたLive 10用のツールを見てみると、そうしたパンニング機能に相当するものがある。いくつかの無料デバイスをLiveに加えることで、空間音声を即興的に操作でき、その音をヘッドフォンで聞くことができるほか、好きなだけスピーカーの数を増やせるようになる。バーチャルリアリティ、3D、ゲーム、没入型環境などの分野で成長を遂げている統合規格でも制作にかかわることが可能だ。

これにより、3Dサウンドで新たな表現や、これまでになかったアイデアを試すことも考えられる。

EnvelopのLive用ツール

Envelop for Live（E4L）はGithubで共有されているが、完全に無料のツールであるわけではない。少なくともLive 10 Suiteが必要だからだ（Live 10 Suiteはマルチチャンネル接続に必要な環境を提供する）。しかし、Live 10 Suiteで作業すれば、Max for Liveで動作するデバイスで空間音声の作品やライブパフォーマンスをおこなえるようになる。システム開発者であれば、自分だけのエフェクトを独自に制作するツールも使えるだろう。

Envelop for Liveのダウンロードはこちらから可能だ（英語）。

http://www.envelop.us/software/

開発者用ウェブサイトで詳細の確認もできる（英語）。

https://github.com/EnvelopSound/EnvelopForLive/

システムの概要と基礎的な仕組みの解説（3Dサウンドにかかわる専門用語の説明も含む）はこちらで確認できる（英語）。

https://github.com/EnvelopSound/EnvelopForLive/wiki/System-Overview

ビギナーガイドのほか、接続設定やデバイスなどに関する参考資料は以下のウィキページで確認できる（英語）。

https://github.com/EnvelopSound/EnvelopForLive/wiki

見やすくきれいにデザインされており、個人的にはこれまでに空間音声で取り入れてきたソフトウェアの中で最も使いやすい。開発者のMark Slee、Roddy Lindsay、Rama Gotfriedの功績だ。

以下にEnvelope for Liveの基本的な仕組みを説明する。

出力：バス出力の役割を担うMaster Busが用意されている。このデバイスは空間音声を解読し、接続したスピーカーに合わせてルーティング設定をおこなう。スピーカーの数に制限はなく、ヘッドフォン、4台のスピーカー、大規模なスピーカー接続など、自由に設定できる。これは、拡張可能な環境であるEnvelop for Liveを使う利点だ。しかも瞬時に設定できる。

音源：Live 10のMixerは、主にステレオへトラックダウンすることを念頭に構築されているが、そのトラックを特定の音源としてとらえることもできる。デバイスのSource Pannerを各トラックに加えれば、3次元空間で各トラックを音源として配置できるようになる。

プロセッサー：どのような3Dシステムを使っていても、3次元定位のコントロールのほかに、独立したエフェクトとツールが必要になる。ディレイやリバーブなど通常のエフェクトでは、右／左／中央のステレオ出力を想定しているからだ。没入型エフェクトの実現には、音源の定位だけでなく、反響音も聞こえる必要がある。

Envelop for Liveには以下のものが含まれている。

Spinner：3次元空間で垂直方向に反復する動きと水平方向の動きをオートメーション化する。

B-Format Sampler：既存のAmbisonicsのWaveファイルを再生する。ここでのWaveファイルは空間情報を前もってエンコードしたサンプリング音だと言える。

B-Format Convolution Reverb：3次元の空間情報を伴って動作するコンボリューションリバーブを思い浮かべるといい。2次元だけではなく、3次元での操作をおこなえる状態は、コンボリューションリバーブのあるべき形だと言えるだろう。

Multi-Delay：モノラル音源からあふれるように広がる3次元ディレイを生み出す。

HOA Transform：Ambisonicsの説明がなくても、リアルタイムに空間の音を形作ることができるエフェクト。

Meter：空間用ユーティリティ。重宝する。

ここでの空間情報はすべて、Ambisonics（英語）と呼ばれる技術によって表示される。ステレオを含むあらゆる空間の音声処理では、相対関係にある音声信号の振幅とタイミングが数学によって測定され、特定の空間と奥行きを模した表現がおこなわれる。Ambisonicsが他と異なるのは、空間場（リスナーの周りのどこに音が位置しているのかを示す空間）を個別のスピーカーと切り離して表示する点だ。それにより、特定の位置に音を配置したいという仮想の空間イメージが頭の中にあれば、そのイメージをスピーカーの設定に変換することができる。スピーカーは何台でも構わない。

この自由度の高い拡張性は非常に重要だ。ヘッドフォンで音を軽くチェックしたいなら、マスターのデバイスを“バイノーラル”に設定すれば、実際の空間で鳴らす場合と十分に近い音を聞くことができる。4台、もしくは8台のスピーカーをスタジオに設置する場合や、プラネタリウムや映画館で何台もスピーカーをつなげる場合でも、出力のルーティングを設定するだけで、Ambisonicsが状況を解読して適応するようになっている。

こうした便利な機能を備えたツールは、決してEnvelopが初めてではない。この技術の歴史は70年代にまでさかのぼり、長年をかけてさまざまなソフトウェアで実装されて進化してきたが（その多くは無料で利用できた）、AbletonのLiveでの使用が群を抜いて分かりやすい。

オープンソース／オープン標準

意義深いのは、Envelopのツールが無料のオープンソースであることだ。Max/MSP、Max for Live、Liveといったプロフラムは、当然ながらそれぞれ独自規格のツールだが、パッチや外部ソースは独立して存在しているため、ライセンスフリーであれば、コードやパッチの学習や変更を自分で自由におこなえる。さらに、Live 10 Suiteを使っていれば、使用環境やユーザーを問わず自分のプロジェクトを共有できる。

Envelopで基盤となっている技術は、すべてオープンソースであり、標準化されている。Ambisonicsは、個人規模のVRから大規模なライブパフォーマンスにいたるまで、実に多くの3次元環境で動作する。本質的に、決まった数のスピーカー設定で音空間を表現するものではなく、意図的に汎用な作りになっている。そのため、空間音声を楽器の一種のように学んでいても、まったく新しい楽器として各仕組みをひとつずつ学ぶ必要はないし、セッティングが変わるごとに音楽を作り直す必要もない。

Max/MSPの上級ユーザーであれば、Envelopの開発チームが基盤にした基本的ツールに精通しているだろう。ツールを開発したのは、スイスのチューリッヒ芸術大学にあるコンピューターミュージック・サウンドテクノロジー研究所（ICST）なのだ。ICMSTはMax/MSP用に外部オープンソースのセットを制作している。

https://www.zhdk.ch/downloads-ambisonics-externals-for-maxmsp-5381

会場／VR／AR／さらなる可能性

空間音声の効果を感じてもらうには、しっかりとした会場が必要だ。Envelopはミュージシャンのために独自の会場を設営中だ。Envelop SFという会場は、サンフランシスコに常設され、空間リスニング体験／研究に特化したスペースとなっている。その可動版にあたるのが、複数のフェスティバルなどをツアーできるEnvelope Satelliteだ。Envelop SFとEnvelop Satelliteの両スペースではLEDエフェクトが使用されているため、Envelop for LiveにもLEDを操作するためのデバイスが入っている（こうしたテンプレートは他の用途でも役立つかもしれない）。

会場に加えて、現在、制作や音声処理の製品が生まれる構造も発展しているところだ。その範囲は、音楽会場から個人規模の没入型メディアにまでおよぶ。それはつまり、モノラル／ステレオの録音機器と制作を前提にした1世紀におよぶ年月を経て、私たちのふたつの耳と脳が常に知覚してきた3次元が今ようやく取り入れられているということだ。そして、ソファでヘッドフォンをつけても、ライブ会場へ出かけても、その成果を楽しめるようになる日がやってくるだろう。

Ambisonicsを搭載した製品は、Facebook 360、Google VR、Waves、GoProなど、多数存在する。そして、VRやARの分野ではさらに多くの開発がおこなわれている。つまり、そうした環境での作曲やサウンドデザインを可能にする制作ツールが、Live 10とEnvelop for Liveというわけだ。

（文：Peter Kirn）

※本記事の長編はCreate Digital Music（英語）に掲載されています。