周波数スペクトルの音：Live 11のSpectral ResonatorとSpectral Time

Ableton Live 11で導入された2種類のデバイス、Spectral ResonatorとSpectral Time。 どちらも音をパーシャル（倍音を構成する部分音）に分解して処理するオーディオエフェクトで、メロディックな音、みずみずしい音、不気味な音、未来的な音、つんのめるような音、不協和な音、グリッチな音、金属的な音など、さまざまな音色を生み出します。 それぞれのデバイスから得られる音は明確に違うものでありながら、どちらも基盤としているのは、高速フーリエ変換（FFT）という技術です。

フーリエ変換が世に出回るようになって久しいですが、AbletonがLiveに取り入れるのは今回が初めて。 そこでこの特集記事では、Natalye Childressがプロダクトオーナーと開発者に話を聞いて、このデバイスの背景にある歴史や着想となったアイデアをはじめ、音楽制作でうまく活用するためのアドバイスやテクニックを紹介していきます。

音声信号を分解する

フーリエ変換とは、工学、画像処理、光学などに応用される数学アルゴリズムのことです。 音楽の世界では音声処理で用いられ、音声信号を分解してさまざまなパーツ、つまり周波数に分解します。 この名前は、1822年、のちにフーリエ級数として知られるようになる基礎を築いたフランスの数学者Joseph Fourier（ジョセフ・フーリエ）に由来しています。

Live 11に加わるSpectral ResonatorとSpectral TImeの基盤である高速フーリエ変換（FFT）は、デジタル処理が強力になった90年代に音声へ適用するために普及しました。 FFTは離散フーリエ変換（DFT）と同義で使用されることが多く、どちらも基本的には同じものです。 違いは、FFTはリアルタイムで使用できるほど高速な演算を利用していること。

プロダクトオーナーのChristian Kleineは次のように語っています。「長い間、フーリエ変換とその関連技術では、断続的に処理しなければならないことが問題でした。 リアルタイムで使用することはできません。 音声信号を送って、処理して、待って、ディスクなどに書き出さないといけなかったんです。 リアルタイム処理が可能になったのは、コンピュータの演算能力が向上したからです」

Live 11でSpectral ResonatorやSpectral Timeを使用すると、入力音がFFTによって周波数スペクトル情報に変換され、その情報にエフェクトとして変更が加わり、逆高速フーリエ変換（IFFT）で音声に変換しなおされます。

Christianは次のように話します。「音というものは複数の正弦波からできています。そして、その正弦波のひとつひとつで、振幅や周波数、そして位相が異なります。 この3つの要素があれば、基本的にどんな音でも作ることができます。 つまり、音を複数の正弦波に分解するだけでなく、逆に、複数の正弦波を元に戻して、その過程で音の状態に劇的な変化を及ぼすこともできるんです」

この技術の背景にある数学について詳しく知りたい場合は（とくに視覚的に理解したい場合は）、Abletonの学習チームを担当するJack Schaedlerのウェブサイト（英語）がおすすめです。

研究所から一般化するまで

「フーリエ変換が登場したのは、主に学術的な発見によるものでした。この手のものは、だいたいそうですね」とChristianが話すとおり、当初、フーリエ変換を利用できるのは大学の研究室に携わっている人に限られていましたが、 家庭用コンピュータがより手頃な価格で一般化すると、フーリエ変換を利用する障壁は少なくなりました。

とはいえ、この手の技術は引き続き学術の世界に根付いたままでした。唯一の例外は、フーリエ変換に魅了された多くの前衛音楽家やモダニズムの音楽家です。 たとえば、フランスに拠点を置くオーディオビジュアル研究所／音楽研究グループであるINA GRMが関係している現代の前衛作曲家の多くは、自身の音楽でフーリエ変換を用い始めました。

Abletonでは、Spectral ResonatorやSpectral Timeの開発にあたり、外部からの圧力や特別な動きがあったわけではありません。あったのは新しい次元の音をLiveに加えたいという思いです。 両デバイスを、味に新しい側面を加えるスパイスや食材に例えながら、Christianは次のように話しています。

「Abletonがキッチンで、デバイスが異なる調理方法であるとしたら、Spectral ResonatorやSpectral Timeは、まったく新しい味を手に入れることができるデバイスです」

「この技術自体はそれほど新しいものではないんですけど、わたしたちにとっては新しいタイプのデバイスで、いろんなことを行ってくれます。 技術的には難解なことばかりですが、得られる効果はすごくおもしろいですよ。 それが、このデバイスを作ろうと決めた主な理由のひとつですね。別の方法ではまったく実現できないことを簡単に可能にしてくれるんです」

これには、デバイスの開発に携わった開発者のRobert Tubbも同意しています。 「周波数スペクトルを扱うデバイスの多くは、学術的な文脈や実験的な世界で使用されていて、世に出回ってるものはどれも細かすぎて使いづらい印象です。 僕らはそうした実験的なデバイスを参考にしながらも、利用しやすく、もう少しすぐに理解できるものにしたかった。 周波数スペクトルを扱うプラグインを一式手に入れても、わけのわからないところから良いものを見つけるのに何日もかかることがあります。 そこで僕らは、そのおいしい部分を突き止めようと動き出したんです」

人気の音楽で使われている周波数スペクトルのエフェクト

FFT処理を用いた曲の代表的な例として、Aphex Twinの“ΔMi−1 = −αΣn=1NDi[n] [Σj∈C[i]Fji[n − 1] +Fexti[n−1]”があります。リリース後、好奇心旺盛なリスナーの一部が同曲をスペクトログラムにかけてみたところ、Aphex Twinの顔が曲の最後に現れることを発見しています。

ほかの例は、Venetian Snaresの“Look”。こちらは、猫の写真を周波数スペクトルで表現しています。

周波数スペクトルのエフェクトはこれまでにもポピュラー音楽で使われていますが、上の動画のような使い方は、今回の新デバイスのものとは少し異なります。 Abletonのサウンドチームで開発者を務めていたIan Hobsonが話すように、このふたつの動画は「撮影した写真のデータを周波数スペクトル情報に直接変換して、それをIFFTで音声に変換しているんですよ。周波数スペクトルの領域で可能な奇妙でおもしろいことを視覚的に示すもの」ということです。

Christianが話したように、学術や前衛の世界には、画像に頼らずに周波数スペクトルのエフェクトを使っている作品が数多く存在します。

その一例が、Denis Smalleyによる“Wind Chimes”です。Denis Smalleyはニュージーランド出身で、自身の音楽アプローチとスタイルを“スペクトロモルフォロジー（スペクトル形態論的）”だと称する電子音響作曲家です。 スペクトル空間の音楽構造については、『The Language of Electroacoustic Music』（英語）でDenis Smalleyが担当した章「スペクトロモルフォロジーと構造化プロセス」で深く知ることができます。

ほかにも同じ技術を駆使した曲として、作曲家、サウンドアーティスト、そして研究者であるイギリス人Natasha Barrettの“Puzzle Wood”があります。

しかしながら、音の正体を知っていないと、楽曲のどの音が周波数スペクトルによるものなのか言い当てるのは容易ではありません。 Ianは次のように話しています。「（周波数スペクトルのエフェクトは）映画の特殊効果みたいなものなんですよ。誰も気づかないくらいのときが、もっとも効果的であることが多いんです」

そうした使い方のほかにどんな活用方法が考えられるのでしょうか？ Christianは次のように話しています。「この技術は音の復元で広く使われるんです。クリックノイズやボーカルを取り除くとか。 音をきれいにしたり、特定のノイズを取り除いたりするために用いられることが多いんですが、それだと、あえて間違った使い方でクリエイティブに活用するということにはならないんですよね。このクリエイティブな誤用を、わたしたちは意図しています」

不可能を可能にする

つまりこの技術は、無邪気に使うことも、実用的に使うこともできて、不可能を可能にするような使い方もできるということ。 では、今回の新デバイスは実際どんなことをするのでしょうか？

Spectral Resonatorが音声信号をモーフィングしたり、色彩や質感を音に加えたりするのに対し、Spectral Timeは音声をフリーズさせたり、ディレイを適用したりすることができます。

Liveに以前から搭載されているエフェクトResonatorと混同されないように、Spectral Resonatorがとりわけ優れているのが、倍音を加えたり、取り除いたりすることです。 とくにおもしろい機能のひとつが、MIDIサイドチェイン機能です。これにより、打楽器パートを旋律楽器として演奏することが可能になります。

「かなり斬新ですよ」と話すRobertは、同機能を柔軟に使えるボコーダーに例えています（その詳細については、周波数スペクトルの音声処理の歴史に触れたこちらのページ（英語）で読むことができます）。 「似たことを行うものはありますよ。モーダルシンセシスを使うプラグインとか。あれには、周波数を設定できる共振装置がたくさん備わっています。でも、周波数スペクトラムの領域だと、誰もそれをやっていなかったと思います」

Spectral Timeという名前は、同デバイスで実現できる効果がどれも音のフリーズやディレイに関連していることに由来しています。 このことをChristianは映画の鑑賞体験に例えています。 「映画を停止すると、映像のフレームがフリーズしますよね。 音楽の場合だと、停止すると音が消えてしまいます。 でもこの技術を使えば、音を止めても“フリーズした状態”で鳴らし続けることができるんです」

これはつまり、たとえばフットペダルと併用すれば、ライブパフォーマンスで演奏中にメロディーパートを持続音にできるということ。 フリーズとディレイの機能は個別に使えるだけでなく、次の例のように組み合わせて使うこともできます。

周波数スペクトルの可視化

Spectral ResonatorとSpectral Timeには、アルゴリズムを視覚的に表示するソノグラムが搭載されています。

ドライ音とウェット音が違う色で可視化されるソノグラムについて、Christianは次のように話しています。「ソノグラムの読み取り方を知っていれば、ドライとウェットの音声を見るだけで、どんなエフェクトが生じているのかを深く知ることができます。 正弦波やホワイトノイズを送ってエフェクトを調整すれば、そこでどんなことが起こって音声がどのように処理されているのかを目で理解できるんです。 あと、この周波数スペクトルの処理は複雑なので、その処理の複雑ぶりをソノグラムで確認できますよ」

一方でChristianは、ソノグラムに頼りすぎないように注意も呼びかけています。 いろいろと教えてくれるソノグラムですが、気になりすぎるようなら、非表示にできるようになっています。

実践的な活用法

Spectral ResonatorとSpectral Timeを使う一番の方法をChristianに聞いたところ、少し間が空いてから次のような答えが返ってきました。 「最近では、何もかもが事細かに規定されていますけど、このデバイスに関しては違います。 ふたつのデバイスを使えばたくさんのことができるんですけど、独自に使い方を見つける必要があります」

と言いつつも、Christianにはおすすめの使い方がいくつかあるようです。

「声に使うとすごいですよ。個性という点で声の変わり具合がすごいです。 エイリアンの声で友だちを驚かせたいなら、このデバイスを使ってください」。 人間の声はとても複雑にできているので、その複雑な構成をSpectral ResonatorとSpectral Timeがどのように変化させて、どんな結果になるのか試してみるのは、確かに興味深いです。

Robertは次のように話しています。「Spectral Resonatorを使えば、ボコーダー系のエフェクトをかけたり、背後で微かにかけたりすることもできます。 たとえば、ほとんど自分の声しか使っていなくても、共鳴を強調すれば、向こう側でドローンが鳴っているようにできますよ」

別の音源としてChristianがおすすめするのが、クラシックピアノです。 声やピアノは聞きなれている音なので、エフェクトをかけたときのコントラストがより鮮明になり、元音とエフェクト音の違いがわかりやすくなります。

Christianは次のように話しています。「電子音楽の問題点は、文脈を持たない音が多いことです。 なので、よくわからない音があって、それを別のよくわからない音に入れると、 よくわからない音からできた、よくわからない音になる」

しかし、これが一般的な音であれば、聞き慣れたものを使って、その変化を明確に聞き分けられます。

Spectral Resonatorをギターに使ってドローンのようにゆっくりと変化していくアンビエント的な音作りを提案するのは、Robertです。 「クリーンなエレキギターのメロディーラインを使って、Spectral Resonatorでノートを多めに設定すれば、シタールを鳴らしているみたいになります。ひとつの音を鳴らせば、別の音が刺激されて背後でドローンみたく鳴り響きますよ」

ほかにもRobertが触れていたのは、Spectral Timeの［Sensitivity］でノートの感度を設定することです。このパラメータを低い感度にすると、フリーズが起動しなくなり、高い感度だとフリーズが起動します。

Spectral ResonatorやSpectral Timeを複製して、それぞれを違う設定で鳴らしたり、両方のエフェクトを併用したりすることもできます、ただし、やりすぎには注意が必要だとRobertは話しています。

「ふたつのSpectral Resonatorを使うと、おもしろいですよ。ひとつ目のSpectral Resonatorに含まれる周波数と違う周波数がふたつ目のSpectral Resonatorに含まれるので、両方の周波数が一致したときだけ、Spectral Resonatorが呼応します。入力音に周波数が存在していなければ、出力音で何も起こらないですから。 ただし、デバイスをどんどん積み重ねていくと、すぐにぼんやりとした音になってしまいます」

すばらしきデジタル

Spectral ResonatorとSpectral Timeの本質を説明すると“デジタル”の一言に集約されるとChristianは話しています。 「この数年間、アナログ、アナログ、アナログって、すべてがアナログじゃないといけないっていう傾向にあります。 それはいいんですよ。わたしはアナログが好きですから。 みんなそうです。 アナログは温かくて、丸みがあって、独特っていうか。 アナログはかっこいい。 でも、デジタルもかっこいいんです。 そして、Spectral ResonatorとSpectral Timeは、もう本当にデジタル。 これ以上ないってほどデジタルですね」

新しいツールと文脈で音楽を向上させたいと考えているユーザーにとって、両デバイスはうれしい追加機能だと、Christianは話します。

「わたしたちが作っているのは、Liveを使って音を作る方法を豊かにするデバイスです。 音楽で独自の表現を見つけたいなら、何を得られるかわからない場所に行く必要があります。 それをしてくれるのが、このデバイスなんですよ」

開発者Robert TubbによるSpectral Resonatorの詳細な解説ビデオはこちら（英語） 

2021年初春に発売されるLive 11の新機能はこちら

文／インタビュー：Natalye Childress