メンデルスゾーン・バルトルディ博物館のエフェクトリウムを指揮する
指揮者となるための道は長く厳しいもの。何年にもわたる熱心な努力とうんざりするほど豊富な音楽の知識が必要です。ほとんどの音楽愛好家には手の届かない夢です。巨大オーケストラでタクトを振るのはどのような気分なのでしょう？名演奏家たちがあなたの指示に従ってあなたの希望通りに演奏してくれるとしたら？一般人には、コンサートホールの最前列席で音楽を楽しむのが精一杯といったところでしょう。
そこに登場するのがテクノロジー。Aconica、WHITEvoid、Bertron Schwarz Freyによる、ベルリンをベースとするコラボレーションです。このトリオは、一般客がバーチャル・オーケストラの細部と一連部分をマニピュレートできる、インタラクティブなオーディオビジュアル・インスタレーションを開発しました。「エフェクトリウム」と名付けられたこの作品は、ライプチヒのメンデルスゾーン・バルトルディ博物館に展示されています。下のビデオでは、指揮棒とデジタル楽譜を使用して、指揮者と化した来場者が本物さながらのジェスチャーでメンデルスゾーンの作品を演奏するバーチャル・オーケストラを指揮する様子をご覧いただけます。
ライプチヒのメンデルスゾーン・バルトルディ博物館のエフェクトリウムの様子
それでは、一体どのように機能しているのでしょうか。背後では、2台のコンピューターからなるシステムが、Ethernetケーブルを介してOSCメッセージをやりとりしています。1台のコンピューターはモーショントラッキング（動作追跡）ソフトウェアLEAP Motion（物理的な動きを記録し、その情報をデジタル信号に変換）、およびタッチスクリーンと一連のカスタム・スピーカーを実行します。もう1台のコンピューターは、Liveを使用し、オーディオ・ファイルと一式のコンボリューション・リバーブプラグインを保管するのに加えて、指揮のテンポに合わせて作品をワープさせます。このコンピューターには、複雑なMax for Liveパッチも用意されており、すべてを同期させる役割を担っています。タッチスクリーンに触れるとOSCメッセージがこのMaxパッチに送信され、指揮者は楽譜上を自由に移動することができ、レイテンシーやジッターが生じません。
エフェクトリウムのタッチスクリーン・インターフェース
LEAPソフトウェアは、指揮者のジェスチャーのスピードをとらえ、テンポをコントロールします。タッチスクリーンは、木管楽器、金管楽器、弦楽器、合唱部、パーカッションなどのボリューム、残響特性、楽譜上の演奏部分、さらにはチューニング（伝統的コンサートピッチの430hz、または現代のスタンダードとなっている443hz）に至るまで、さまざまな可変要素に対処します。
エフェクトリウムのモーショントラッキング（動作追跡）カメラのひとつ
指揮者は、アップライト・スピーカーに取り付けられたLEDライトの色合いや明るさを変更することで、インスタレーションの雰囲気もコントロールできます。さらに、各楽器セットはそれぞれ独自のスピーカーへと送られるため、聞き手は作品の各要素を個別に聴くことができます。
このプロジェクトについて詳しくは、Aconicaウェブサイトで読むことができます。またインスタレーションはライプチヒのメンデルスゾーン・バルトルディ博物館でご覧いただけます。