ライゾマティクスの実験　オンラインから次のフェーズへ

連載企画「コロナ時代のオンラインでつながるライブ・ミュージック」第三回。オンライン・エンターテインメントのあり方を追究するライゾマティクスの2人に話を聞いた。

コロナ時代に突入して、緊急事態宣言が出る前の4月3日、オンライン・イベント「Staying TOKYO」を立ち上げて、トークイベントと音楽イベントをミックスした配信をスタートさせた。さらにはオンラインでリアル空間のようなソーシャルなコミュケーションを目指すプラットフォーム「Social Distancing Communication Platform」を開発するなど、コロナ時代の新たなオンライン・エンターテインメントのあり方をいち早く模索し、形にしてきたライゾマティクス。

・4月3日に立ち上げた、トークイベントと音楽をミックスした配信イベント、Staying TOKYO
https://staying.super-flying.tokyo/


ライゾマティクスのファウンダーであり、アーティスト、DJ、プログラマーの真鍋大度さんは、コロナ以前から、リモート・ライブのプロジェクトに携わるなど、今の時代にこそ求められるエンターテインメントをすでに表現してきた人なのである。「Staying TOKYO」で行った数々の実験は、6月27日から「PLAYING TOKYO」と名前を変え、徐々に完全オンラインから次のフェーズへ移行させつつある。さらに、その先を展望するプロジェクトとして、ライゾマティクスのプログラマーの花井裕也さんは、Messaging Mask（メッセージング マスク）というデバイスを開発したという。真鍋大度さんと花井裕也さんの二人に話を聞いた。

・PLAYING TOKYO
https://playing.super-flying.tokyo/

―「Staying TOKYO」と「Social Distancing Communication Platform」をやられていますが、コロナ時代になったことを受けたことで、何が大きなモチベーションとなりましたか？

真鍋：ライブ配信はこれまでも割とやってきてるんです。それこそPerfumeとdocomoの5Gのプロジェクトの時は、ほぼ無観客で、Perfumeの3人が東京とロンドンとNYの3カ所に分かれて、AR技術を駆使したリモート・ライブをやったわけです。そういったことをいろいろ試してきたところで、こういった状況になって。今までにやってきたことももちろん使えるんですけど、Social Distancing Communication Platformの場合は、オフっぽい感じで、いろんな人と話す機会がなくなったなと思って作った感じですね。オフっぽいというのは、不特定多数の人と不特定の話題について話す場所。例えば、Zoom飲み会みたいなものは、割とグリッドがカチッとしてる中で、誰か回し役がいないと会話が回っていかないので、けっこう不自由な状態だと思ったんですね。バーで音楽を聴きながら、20人くらいで飲んでる時だと、自然と3～4のグループに分かれて、いろいろなところで会話が始まって、同時多発的にコミュニケーションが行われる。そういう状態はZoomだとけっこう難しいなと思って、あのツールを作りましたね。リアルスペースと同じように、近くにいる人と話せばその人の声が聞こえるし、遠くにいる人の声は聞こえない。今は昔と違って、音声やウェブカメラを送受信する仕組みがけっこう簡単に実装できるようになったので、すぐに作れるんじゃないかなと思って、エンジニア・チームと相談して作りました。

【画像】Perfumeライブレポ、ストイックさの中に見せた「愛」と「温もり」（写真8点）

・オンラインでリアル空間のようなソーシャルなコミュケーションを目指すプラットフォーム、Social Distancing Communication Platformのプロトタイプ
https://rhizomatiks.com/sdc_platform/

―Staying TOKYOの方は、どういう発想でスタートしたのですか？

真鍋：コロナの影響で実際のイベントがけっこうキャンセルになりました。Perfumeの東京ドーム最終公演も中止になり、自分で行く予定だったトークイベントや展示もなくなって、2月末に予定されていたパリとケープタウンの海外出張も、軒並みリモート参加やキャンセルになったんです。3月に入った時に、このままずっと何もやらないのもなと思って、リモートでできることを何かとりあえずやってみようってことで、イベントを始めたという感じですね。最初はトークイベントを、それこそZoomでつなぎ、みんな自宅からトークをやってもらって。DJでバック・トゥ・バックでつないでいくのも、今だとリモートでやることもできるので、リモートのDJセッション、リモートのVJセッションを入れて、映像と音のセッションみたいなのもやってみようと思って。1週間くらいでリモートセッション用のツールを開発しつつ、配信プラットフォームについて調べてイベントをスタートしたという感じです。

―それが4月3日に始まったStaying TOKYOになるわけですね。Staying TOKYOは、Flying Tokyoのスピンアウトとして始まったのですか？

真鍋：そうです。Flying Tokyoは海外から日本に遊びに来ている海外アーティストと国内のクリエイターの交流の場を作るソーシャルイベントでした。レクチャーイベントというよりは交流のためにやっていた感じです。中高生向けにワークショップをやったりもしていますが、それも中高生が横のつながりができて将来的にコラボレーションをしたりするきっかけになればという意図がありますね。

―6月19日のVol.09は、これまでの回を振り返る企画でしたが、Staying TOKYOは一旦終わった形ですか？

真鍋：一旦終わりましたね。配信でできることはまだたくさんあると思うし、何ができるのか探り探りで配信をやってきましたが、これからは自宅に籠もって配信をやるだけでなく、リアルスペースにどうやって戻っていくのかを考えようということで、Staying TOKYOから「PLAYING TOKYO」に名前を変えました。6月27日にPLAYING TOKYOのvol.0を行ったんですが、Intelさんにスポンサーになっていただき、eスポーツのイベントとDJイベントを組み合わせてやりました。まだリアルスペースではできていなくて、ライゾマティクスのスタジオにDJ、VJの人に来ていただいて。今後はクラブで開催して、ちゃんとソーシャル・ディスタンシングも保ちながら少しずつリアルに戻していけたらいいなと思ってます。

eスポーツと音楽を組み合わせた理由

―PLAYING TOKYOで、eスポーツと音楽を組み合わせた発想はどこから来たんですか？

真鍋：それは僕が『ストリートファイターV』をめちゃくちゃ好きだからで（笑）。前にエキシビション・マッチに出させていただいた時に、カプコンさんやプロ選手との伝手も出来て今回につながったんです。『ストリートファイター』がヒップホップ・シーン、音楽シーンに与えた影響もアメリカでは特に大きくて。ゲームとDJの相性が良いから組み合わせやすいというというのもあります。

―バーチャル・クラブの雰囲気も良かったですね。フロアでDJを前にしてアバターのような人たちが踊っている感じも面白かったです。

真鍋：あれはダンサーが踊ってるモーションキャプチャのデータを使いました。2015年の正月に「NEXT WORLD 私たちの未来」というNHKの特番の中でサカナクションがライブを行い、そこにウェブサイトで作ったアバターで観客になって参加する、というのをやったのですが、そういうことも今後は試していってもいいかなとは思っています。それこそ、今ではFortniteみたいに大きなスケールで、バーチャルとeスポーツとヒップホップが組み合わさったお祭りが行われているので、一般的になってきているなと感じます。

―今後コロナが収束に向かうことも想定して、バーチャルとリアルを融合するようなことも考えているんですね。

真鍋：やっぱりしばらくは密な状態にはなれないだろうし、大声で叫ぶこともできないんじゃないかというので、それこそ花井が考えてるMessaging Maskも出てきたわけです。100％戻るまでの間にどういうことをやっていくのか。そこは課題になりますね。

―Social Distancing Communication Platformについてもお聞きしたいのですが、今公開されているのはプロトタイプなんですよね。

真鍋：現状、プロトタイプを公開していろんな方に参加していただいて、感想を聞いて、というのをやっているところで。今後どういう設計をしていくのかも含めて作っているところですね。SpatialChatのような類似のサービスもあるので、どうやって差別化するのかということも考えつつ作っています。

―プロトタイプを見ると、DJのステージが2つある音楽フェスの会場のような設定になっていて、そこでユーザーが会場内を移動しながら、音楽を聴いたり、飲んだり、他の人と話したりできます。今後はどのような使い方が考えられますか？　

真鍋：配信の音楽ライブってTVやライブDVDを観る体験に近いですよね。一方で、完全にバーチャルな世界で観るもの、例えばFortniteのトラヴィス・スコットにしてもそうですし、日本でも、clusterで全員がアバターになってバーチャルの渋谷で音楽を聴いたりするようなメタヴァース系のイベントも行われています。ちょっとオフ会っぽいその二つの中間になるようなものがいいかなと思って。アバターになって参加するのもいいのですが、普段の延長だと人の顔が見えてしゃべる方がコミュニケーション的には盛り上がりやすい。僕なんかは、普段バーとかで飲んでる友達とわざわざアバターになって話すのはちょっとな、と思ってしまうので（笑）。Zoom飲み会もけっこうやりましたが、10人を超えてくるとつらいんですよね。

【動画】バーチャルならではの演出と世界観で繰り広げられたトラヴィス・スコットのライブ（映像）

Social Distancing Communication Platformのように、何となくオフっぽい感じでコミュニケーションを取りつつ、DJに近づけば音楽が聴けるし、離れれば音楽は聴こえなくなる。そういうリアルスペースに近い感じが良いと思って作ったというのがあります。あと僕は大学で授業をやるのですが、Zoomを使って授業をやると、結局帯域を稼ぐために「カメラをオフにしてください」とか、「ノイズが入ってくるのでマイクをオフにしてください」ということになり、ほぼ放送大学状態になってしまうんです。だから今、大学で使えないかというオファーを数多くいただいています。新入生同士のコミュニケーションがなかなか取れなくて大変という問題もあるみたいなので。そういうことの手助けにもなればと思ってますね。

―実用化に向けて、次のステップは考えていますか？

真鍋：大きくは二つあって、一つ目はインタラクション。今は背景の画像を変更できるだけなのですが、アイコンの位置やカメラ画像、マイクの音量を使ってフロントの絵を生成できるようにすること。もう一個は会話の解析ですね。このグループはゲームの話をしてるな、ここは音楽の話をしてるな、とかそういったことがオンラインだと簡単に分析できるので、その解析データを用いて面白いことができるかなと。

―Messaging Maskについてもお聞きしたいのですが、真鍋さんはすでにラジオ番組でPerfumeをゲストに迎えて、この話をしていましたよね。（注：「ライブ会場に観客が満員に収容できるまでは、観客は大声を出せないので、マスクをしてもらって、内側にマイクを取り付けて、囁き声を拾って、そのセリフを光や文字にして、ステージのモニター画面に投影していく」という話）

真鍋：そうですね。本当はこのラジオ番組に合わせて公開できたらいいなと思っていたのですが。、少し時差が出ましたね（笑）。

Messaging Maskのアイデア

―Messaging Maskのアイデアから、どう形にしていったのか、聞かせていただきたいのですが。

花井：4月と5月、いろんなイベントをオンラインでやっていくという流れになった時に、自分自身がリアルスペースのイベントに行きたいなと思い、どういう形だったらこの状況で自分が行って楽しめるのだろうかというのを考えたんです。そこで、声を出さなくても声を出した気になって楽しむことができれば、それは一つの解としてあるんじゃないかと思いました。最初は単純な拡声器のようなデバイスも考えていたんです。マイクとスピーカーがあって、自分は小さい声でしゃべっているけど、それが大きな声になって届くみたいな。でもいろいろ考えていくうちにもっと別の体験ができたらいいかなと思いまして。音声認識を使って一旦文字に変換してスクリーンに大きく出すとか、ARで見せるとか。ヴィジュアライズの要素を組み合わせて見せれば、もう一つ面白いことができるのかなと思いました。

・新たに開発された、Messaging Mask（メッセージング マスク）というデバイス

―マスクはどのような仕様になっているのですか？

花井：中身は編み編みのメッシュ構造で、LEDが貼ってあり、裏側に小さいマイクが付いている感じです。今はまだプロトタイプなので、基盤とかバッテリーが付いていて、目に見ないところはゴツいんですけど（笑）。これを大量に作るとなったら、また考えていきたいなと思います。

―これは実際にイベントで使っていく予定はありますか？

花井：サカナクションの山口一郎さんがやってるNFというイベントがあって、ライゾマティクスがいつもVJをやらせてもらっているんですが、そのオンラインイベントでまずはテスト的に使えないかという相談をしてるところです。無観客のイベントなので、お客さんではなく出演者の人たちに付けてもらう形になるとは思います。（注：7月18日「NF ONLINE #2」にて、Messaging Maskを初導入）

―今後、リアル・イベントが復活した場合、リアルとの融合としてはどのような使い方を考えていますか？

花井：配信ライブでは、いろんな人が観てリアルタイムでコメントしますけど、Messaging Maskはリアルスペースでもそういうことができるデバイスになるのかなと思っています。今後は、リアルスペースでイベントをやるのと同時に、ライブストリーミングでも配信するという、2本立てみたいなものがけっこうスタンダードになるような気がしていて。そういう時にネットでコメントをしてもリアルでつぶやいてもそれが同じ空間でヴィジュアライズされて見れるようになったら、それはそれで新しいのかなという気もしてます。ちょっと小さい声でも、つぶやくことによって気持ちの高揚を表現したり、あるいは感情を共有したりできる。そういうことの手助けになればいいかなと思ってます。

―3つの取り組みについてお話を聞いたのですが、それ以外の取り組みも含めて、今後やっていきたいことを教えてください。

真鍋：AR、VRみたいなことは今までもやってきました。ただ僕らがやってきたことというのは、配信で言うと1曲だけとか、本当に短いものだったんです。でも今いろんな音楽フェスの配信ライブを観てると、2時間とか長いものだと8時間やってたりしますよね。2時間ずっと画面を見ているのってけっこうしんどいので、結局ラジオみたいな楽しみ方になってしまう。それもいいと思うのですが、家で観るとしても、画面を観ないでも楽しめることだったりとか、ちょっと違う楽しみ方を考えたいんです。実際に100％リアルに戻る前と、今の様に自宅で画面とにらめっこしているのと、その間で何ができるのかとうのを探していきたいなと思っています。

―今後の予定は？

真鍋：毎週金曜日にPLAYING TOKYOをやっていきます。開催場所やゲストも様々にと考えていて、スペシャル版などもあるのでお楽しみに。あと、9月にLAのレーベル、Timetable × ライゾマティクスのBOILER ROOMをやる予定ですね。


ライゾマティクスのファウンダーであり、アーティスト、DJ、プログラマーの真鍋大度さん


ライゾマティクスのプログラマーの花井裕也さん

https://rhizomatiks.com