バーチャルYouTuberは音楽を“見せられるか”　「ときのそら」の新たな挑戦と可能性

　バーチャルYouTuberがぶつかる制約の壁は大きい。ピアノが弾けても、ピアノを弾く姿を見せることは難しいのだ。

（関連：『傷物語』『アイカツ!』でも活躍の音楽作家が楽曲提供　アイドルVtuber事務所「KAGAYAKI STARS」とは？）

　昨今のバーチャルYouTuberブームの中で、彼らはいかに彼ら自身のプレゼンスを強くするかに悩まされている。「人間的に自然」なものをバーチャルという100%人工的なステージで表現する為の技術は現在も進化しており、その片鱗は「音楽」においても見えてきた。それはバーチャルYouTuberを楽器の演奏者として立たせることであった。

　3Dモデルの存在である彼らが、楽器を演奏している姿を見たことがあるだろうか。筆者がこれまでに見てきたのは、「ピアノを弾いているが手元を写していない」ものだったり、「頭以外全部実写」だったりといった、誤魔化しや突き抜けた発想でカバーしているものたちである。仕方ないことだ。楽器演奏において指の細かい動きは必要不可欠だが、それを3Dのトラッキングで表現するのは不可能であると言わざるを得ないのだ。

　しかしながらこれを独自の発想と技術で表現しようという試みがある。ニコニコ生放送にて配信された、バーチャルYouTuber「ときのそら」のライブである。11分～あたりからときのそらがピアノを弾いている。彼女の指に合わせて、ピアノの鍵盤が押し込まれているのが確認できるはずだ。まるで本当にバーチャル空間に出現したバーチャル・ピアノをバーチャルYouTuberが演奏しているかのような光景である。いや、実際「ほぼ」そうであると言ってもいいかもしれない。

　これはドワンゴによって独自開発された「運指再現技術」というものが使われている。要するにMIDI情報を認識して3Dモデルを同期させているのだが、もう少し噛み砕いた説明をしていきたいと思う。

　まず、MIDI(ミディ)とは何か。ザックリ言ってしまえば「楽器を鳴らす上で必要な音の情報」である。例えば電子ピアノなどは、鍵盤という入力デバイスを用いて「音の高さ(どの鍵盤か)」「音の長さ(鍵盤を押してから離すまでの時間)」「音の大きさ(鍵盤を叩く強さ)」などを電子ピアノに入力し、それを認識した電子ピアノがその通りにスピーカーから音を鳴らす、という仕組みで動いている。

　ときのそらの配信で使われた「運指再現技術」は、このMIDI情報に合わせて3Dキャラクターとバーチャル・ピアノに動きがつくようになっている。プロセスとしては、まず「ときのそら」本人が鍵盤を叩く→彼女が入力した情報がMIDIとして「運指再現技術」のソフトウェアに送り込まれる→叩かれた鍵盤に合わせてバーチャル・ピアノの鍵盤も押し込まれ、「ときのそら（3Dモデル）」の指はそれに対応していい感じに動く、という形である（と思われる）。

　実際この技術がときのそらのピアニストとしてのプレゼンスを完璧に保証しているかと言われるとそうではない。鍵盤と手の間に空間があるし、運指もよく見れば不自然な箇所(無理な打鍵)が少なからずある。しかしこの技術のおそるべくはこれらが全てリアルタイムに行われ、配信での「生演奏」を可能にしたことだ。

　例えば実際に指を10本ともトラッキングして動かせるようにしたとしても、バーチャル・ピアノ側はその動きに完璧に対応することはできないだろう。なにより指にそんな機材をつけていてはプレイヤーはそもそもまともな演奏ができない。「MIDI情報をピアノとキャラクターに同期させる」という発想は実に合理的である。調整が進んでいけば限りなくリアルなピアノ演奏が表現できるようになるだろう。

　こうやって書いてみればバーチャルライブの未来は明るい……ように見えるが、残念ながらこの技術でこれだけのプレゼンスを保てるのは現状「ピアノ」という楽器だけだと思われる。理由はまさにMIDIという情報規格を利用していることにある。

　例えばギターを「運指再現技術」で再現できるかといえばまず無理だ。何故ならギターはMIDI情報の入力機器ではないからである。ギターは弦楽器であり、ピアノの鍵盤のように「情報をソフトウェアに伝えること」ができない。やろうと思えばできなくはないが、その場合鳴らされた”音そのもの”を認識してMIDIに変換するというプロセスが必要になり、そしてこの方法では和音（音が複数鳴っている状態）を認識できない。さらに言えばギターの指板上には「全く同じ音がなる場所」があるため運指の対応は難しくなるだろう。同様の理由でベースなどの弦を振動させる楽器は全て厳しい。もしどうしても「運指再現技術」を用いてギターやベースの運指を再現するなら、指板の至る所に感知センサーでもつけなければいけなくなってしまう。次点で希望があるとすればドラムなど打楽器の類だが、ドラムは腕に加え足も使う上に動きが大きい。要するに誤魔化しがあまり効かない。違和感を拭うのは難しいと思われる。

　こうして見ると、むしろピアノこそがバーチャルYouTuberにとって最も演奏しやすい楽器だったことがわかる。しかしMIDI規格を応用した「運指再現技術」は筆者にとって目から鱗であった。何故こんなことに気がつかなかったのだろう、と思うほどに。ギターやベースの表現も、存外、気がつけばあっさりとクリアされていくものなのかもしれない。

（じーえふ）