ホロライブのライブ公演はどうなってるの？実在感を大切にした照明演出システムや現場から見た視点を語る【CEDEC2025】

2025年7月22日から24日かけて、パシフィコ横浜 ノースにてゲーム技術者やコンピュータエンターテインメントのエンジニアらを対象とした、国内最大級のカンファレンス『CEDEC 2025』が開催されました。12会場に分かれて数多くの講演者が登壇・講演を行なっていくなかで、24日にカバー株式会社のクリエイティブ制作部で活動する平野晶麗さん、株式会社スピンが運営するクリエイティブチームTxDにて活動するよしだたかゆきさんと泉次雄さん、計3名による講演が行なわれました。リアルタイムで行なわれるVTuberのライブ。その中で描かれるトゥーン表現を駆使した実在性のあるライティングと、ステージの実照明とCG空間の照明を高度に同期した照明演出について、3人は話してくれました。よしださんと泉さんは別々の会社に所属しつつ、TxDのチームの一員としてカバー社が手掛けるホロライブの現地ライブに携わっており、舞台演出側からの視点で今回は話をしていくと説明しました。講演は、リアル（現地会場）ライブにおけるUnityのライティングシステムや現場の事例、照明の作り方などについて、後半はARライブにおけるライブシステムや照明計画について、それぞれ話題を分けて進めていきました。2つの内容に入る前に、平野さんは「そもそもライブの魅力は何なのか？」という原点から話を切り出しました。ライブの魅力というのは主に3つ。・タレントご本人のパフォーマンス・タレントとファンが一緒の空間で作り上げるドラマ（体験）・多種多様な領域のプロフェッショナルが掛け算的に組み合わさってうまれるライブ演出この3つではないかと平野さんは話します。よしださんは平野さんの話に頷きつつ、ライブを通して観客側の感情の揺れ動き・抑揚を技術的にかつテクニカルに計画設計をしているが、そんな計画を遥かに上回る感動が訪れる……「ライブは生き物なんだ」と話しました。平野さんはつづけて、ライブにおける照明システムは、タレント本人を彩るお化粧のような存在だと話します。曲のテーマや世界観を表現する演出、ライブに来たお客さんを非日常空間へと没入していくための役割もあります。加えて泉さんは、どんな広い会場であってもタレント本人と観客が同じ場所・同じ時間を過ごしている感覚を強く持たせ、一体感をつくっていくことが重要で、そこで照明が果たす役割は大きいと語ります。だからこそ、「バーチャルアーティストの実在感」というものを大事にして照明を作っているとも話しました。ここからは話は本題へと移りました。まずはUnityのライティングシステムについて。照明の見せ方でこだわっているのが、感情表現や実際性を高めるための影の品質と、複数のライトを当てても安心して見せられるルックの実現といいます。照明システムはミドルレンジパソコン相当のスペックでも動かせるようにしており、ライブ会場での電源容量や他PCでレンダリングするなどの使われ方も考慮して、とにかく負荷がかからないようなシステム要件になったといいます。つづいてレンダリングの環境について。レンダリングのなかでも内製のシェーダを制作し、ライトシステムも独自のライトシステムを実装しているとのこと。Unityの標準ライトでは再現が難しいライトの合成方法があり、その改良のために独自実装にいたったといいます例えばピンスポットライトですが、Unityの標準ライトではピンスポットライト同士が重なった領域では白飛びしてしまい、見栄えが安定しません。そこで泉さんからの提案を元に、照明の合成方法を独自に実装。ボーダーライトでは舞台袖・横からライトをあて、上下前後に移動した時に明るさを一定に保てるようにしています。またライト演出にもいくつかの拡張機能を実装しており、絵柄のつきの照明・GOBOについてはぼかし機能、絵柄の回転・切り替えなどを実現しています。シェーダー内で1枚のテクスチャーを参照できるようになっているため、動作もかなり低負荷で行えるとのこと。リムライトに関しては、2層のレイヤー構成と遮蔽計算をしています。舞台正面でタレントが逆光を浴びているときの表現で活用されており、光の当たり方や輪郭の表現含めて、実在感の高さを感じさせてくれます。最後にライト拡張の事例として、多数ライト（多光源）の課題をあげました。ライブ演出ではさまざまな方向からライトが飛び、光源が置かれています。ですが、バーチャルアーティストのようなアニメらしいトゥーン表現では、2つのタイトだけでも表現が破綻してしまうと平野さんはいいます。この問題は、仮想の複数法線で合計光量を計算して、トゥーンとして破綻しないライティングを計算することで解決しています。つまり、複数方向からのライティングを想定して計算し、そこを基にして陰影をつけるようにしているわけです。このおかげでかな違和感が軽減されています。また影表現やセルフシャドウについても非常にこだわってきたポイントになっており、顔とそれ以外の部分でレイヤーを2つに分けています。顔の影はカメラアップでもしっかり見せられるクオリティにするために、シャドウマップの解像度や影の向きや体と分けて調整。特にパフォーマンス中の激しい動きのなかで、より効果的になっているようで、実在性を高めてくれていると話しました。また、パーカーとフードの紐のように、近距離かつ重なっているようなケースの影表現は難しい問題で、輪郭がハッキリとしないという状況に見えます。このような場合は、Unityのレイトレーシング（光の動きをシミュレーションして映像を表現する方法）を使うことで解決したといいます。プラグインを実装するよりも圧倒的に手軽に実装でき、重用しているとのこと。また、顔と体の影の落とすのはレイトレーシングでも調整は可能です。平野さんは最後に、Unityにおけるレイトレーシングの実装手法の比較・まとめを取り上げました。HDRPがもっとも実装コストが高く、影生成などのクオリティが求められる箇所に限って効果的にレイトレーシングを使用していくのが現実的だろうと話しました。つづいてよしださんから、ここまで平野さんが話されてきた技術を、実際の現場や制作にどのように活用しているかを紹介していきました。まず、バーチャルアーティストのライブについて、仕組みや流れを説明へ。バーチャルアーティストのライブには、「バーチャルライブ・ARライブ・リアル（現地会場）ライブ」の3つの形態があります。3DCG空間内で完結しているパターン、現実のステージや場所を背景にいてバーチャルアーティストがライブをするパターン、現実のライブ会場でライブをして舞台上で映像表示をするパターン、このように分けられます。リアルライブを開催する際には、配信を通して視聴・観劇しているファンもいるため、実写カメラのみでなく、バーチャルカメラやARカメラも駆使しながら配信上でお届けしているかたちをとっています。ここで、バーチャルアーティストのライブの仕組みについてよしださんは説明されました。出演者（タレント本人）は、会場内に設置したモーションキャプチャーの収録エリア内でパフォーマンスを行います。モーションキャプチャーシステムと接続されているレンダリングシステム・バーチャル空間には、現実の舞台（ライブステージ）と視覚的につながるようなデザインのバーチャルステージを組み立てます。バーチャルステージにバーチャル照明を組み上げ、その照明の光を浴びてパフォーマンスをするタレント本人を舞台投影用のバーチャルカメラが捉えて、レンダリングと出力します。その出力した映像をリアル会場のステージへと描写するのですが、バーチャル空間で捉えていた照明はここでは非表示状態にしつつも、バーチャル空間で使用された照明とリアル会場の照明を置き換え、立体的に重ね合わせます。このとき、リアル会場の照明とバーチャル空間の照明が、色味や変化のタイミングを完全に一致させない違和感が残りますし、逆にうまく同期した動きを見せることで、「舞台上の照明でタレントが照らされている」ように見えるわけです。こうしてリアルライブの照明や映像が作られており、観客の目、現実のステージを撮影している実写カメラ、3DCG空間のステージを捉えるバーチャルカメラ、加えてARカメラ、4つの視点が混ざり合って構成されています。現実のステージを捉えた実写カメラにくわえ、バーチャル空間のARカメラの映像を混ぜていくことで、バーチャルアーティストを三次元的に合成していくのです。同じような照明効果で撮影すれば同じようなルックを撮影できるとかのようにおもえますが、じつは生成プロセスごとに異なる照明制御を行なわなければ、色味の出方やタイミングも大きくズレてしまい、大きな違和感が生まれてしまいます。よしださんは、リアルライブの制作においてもっとも重要視しているのは「現地にいらっしゃる観客の肉眼」で、彼らを主たるターゲットとして演出制作しているといいます。ただ一方で、興行的には配信も重要視していて、クオリティも要求されているので、配信を通じて楽しんでもらっているお客様にも満足してもらえるように、整合性もかなり意識していると話されていました。つづいて照明を担当している泉さんからも、実際の取組みについて話が語られました。主役であるタレント本人を美しく引き立つように見せるため、バーチャルライブにおいて一体感に繋がる実在感という部分に話題をフォーカスした話でした。バーチャルの領域でも現実の舞台から照明効果にあわせた照明をあてており、あえて現実の舞台からの影響を反映することで実在感を高められると考え、実践していると泉さんは話します。ここで照明が果たしている役割は、リアルの舞台照明や世界観をバーチャル空間へと連続させていることと泉さんは話します。星街さんと観客が同じ空間にいると感じ取れ、実在感を高めていくことにも繋がります。特に重要と思われるポイント3つ。・位置関係性について・タイミングの一致について・色味に一致についてまずは位置関係性については、照明器具や電飾などの光源の位置や向きについて、これをバーチャル空間に影響しているように見せていくのが重要となっており、タレント本人への陰影が効果的につけられるかが表現力の高まりにつながっていきます。マリンさんのライブ公演ですが、ステージ上の照明が左側から右向きに照射されており、この時にマリンさんにあたっている光も同じような照明と指向性をもった陰影がついています。つぎにタイミングの一致について。これについては、照明効果の遅延をコントロールすることで実現されていますが、照明の遅延補正というのは一般的には行なわれていません。（考えれば当たり前ですが）光はどんな距離でも即座に届くので、遅延ということを考えなくても大丈夫だからです。照明コンソールから舞台照明を点灯させ、同時にバーチャル空間のタレント本人へと光が飛んでいくのですが、ここでレンダーシステムなどを挟んでいる影響で、どうしても遅れが生じてしまいます。人間の知覚として、ここでちょっとでも遅れてしまうと違和感を覚えてしまうわけです。この光の遅延補正というシステムを、泉さんが参加するTxDのチームで独自開発して導入しましたといいます。3つ目に色味の一致についてです。まず、現実の舞台照明や電飾と、バーチャル空間の照明や電飾は同じ色味・明るさでないと違和感が生まれます。ですが、互いにまったく異なる光デバイスなので、色味はうまく合いません。くわえて、舞台照明の明かりをそのまま踏襲してしまうとかなり明るすぎてしまいます。単純に明るさを落として出力すればよいわけでもなく、バーチャル空間内の照明がそのまま明るさを落として表現されるため、今度はこちらが暗くて見えなくなってしまう。泉さんはそういった問題が指摘しました。この写真はおかゆさんの公演ですが、写っているのはすべてバーチャル空間です。実際のライブ公演にもある照明器具や電飾と、バーチャル空間内にしかない照明器具や電飾が混在しています。バーチャル空間の照明を現実の舞台にある照明にあわせて明るさを落としてしまうと、全体的にすごく暗くなってしまうわけです。この問題の解決には、最近になって登場したArt-Netルーティング機器を使うことで解決しました。この機器によるマスター調整コントロールという機能を活用し、リアル空間とビデオウォール内のバーチャル照明、バーチャル電飾、そしてフルCG空間の3カ所に対してそれぞれ個別に補正して信号を送り込むことが可能になりました。最後に泉さんはシステム図を挙げ、照明コンソールから出力したものをタイミング調整と色味調整それぞれのツールや機器にかけ、タレント・バーチャル空間内・リアル会場の照明やライティングにそれぞれ参照して使用している、という形になっていると説明しました。語り手が平野さんへと戻り、最後にARライブでの取り組みについての話がスタート。ここでは2023年12月24日に配信が行われたhololive Xmas AR LIVE 『Sweet Happy Holiday』をモデルケースとして取り上げて進行していきました。このライブは事前に収録を行なったうえでのライブとなっており、新宿住友ビルの三角広場で展示させれいるクリスマスツリーで撮影されました。お昼の時間は通路として利用されている場所なので、利用者の少ない0時～5時のあいだで収録する必要があり、設営と撤去作業もあったので、じつは収録時間は実質2時間ほどだったといいます。もちろん収録時にトラブルが起きないよう、事前にシミュレーションやリハーサルを重ねたうえで収録にのぞんだとよしださんはいいます。実写カメラのレンズの属性を再現できるようにしたり、床へと落ちていく影の表現、なにより現場ですぐに調整が行えるように体制を整えていました。描画処理では、実写映像をレンズの歪曲収差を補正して、リニアな状態にするというARライブならでの処理を加えおり、リニアな状態にした実写映像にCGの構成を施し、最後のポスト処理でレンズの歪曲収差を再現しています。落ち影の調整として、実際の照明と明るさに同期して影の濃さも変わるようになっており、Art-Netと照明コンソールで調整できるようにしています。またエフェクトの表示位置が現場で確認しないと確定しないため、カメラワークとセットで調整が必要となるところ、照明コンソールとArt-Netを使って素早く調整することができたと、よしださんは報告しました。くわえて雪や吹雪と行ったエフェクトがARライブと相性が良く、雪や雨が実際に降っているのかと思えるほどの映像に仕上げることができたといいます。つづいて泉さんからARライブにおける照明計画について話が及ぶと、タレントの後ろ側になる借景（背景）を活かし、クリスマス飾りの存在をいかすために低い位置に電飾や照明を設置し、最小限の仕込みで最大限の効果を狙ったと話しました。タレントさんが動き回って、カメラも様々な角度から回り込んで撮影されるので、どの方向に回ってもきちんと背景（借景）がみえるように、周囲をぐるっと回り込むような照明などをおいています。また影の出方についても、今回は低い位置に照明が置いてあるため、影が長く伸びていき、影が放射状に発生することを事前にシミュレーションし、実際の照明や影の出方に対応したといいますまたこのライブではスモークを焚いてスポットライトの光線をクッキリと出すという方法が取れなかったので、物を照らし出したり、陰影を配置していく感覚を大事にしました。くわえて、輝いている感触（グレア感）を装飾的に使っていくことも意識したと泉さんは話しました。ムービングライトを地上から5.7ｍという位置に設置しており、床面のGOBOの表現ができ、表情をつけられるようになりました。別の打面でも、右から左への光の当て方もわかりやすく表現でき、タレント本人の陰影も同じようについているため、実在感がうまれています。光量と色味を整えて、現実の世界となじませていく作業も重要です。陰影の強度は実際の現場に入って初めて判明するものなので、現場に入って照明卓をつかって素早く修正ができる環境となっています。最後によしださんから、AR撮影の制約と突破へのチャレンジについて語られました。リアルライブの現場におけるAR撮影には大きな制約があり、カメラアングルに注意しなければいけないというものがあります。現実のステージ上にはバーチャルアーティスト（タレント本人）が常に表示されている状態なのですが、その状態でARカメラが客席側からのアングルで舞台を撮影すると、ARの画面内で出演者が二重に見えてしまうということになります。ARカメラで捉えているバーチャル空間のタレントと、現実のステージ上で描写されているタレントが、2人分が存在してしまうと捉えるとわかりやすいかと思います。多くの場合、舞台上でタレントを表示している画面を映さないようなアングルを選択したり、舞台上の表示画面をCG処理でマスクをかけるというような手法が取られます。ですが、画角や表現に制限がかかるうえに、背景の多くを塗りつぶすといったケースもあり、合成しているような映像になってしまいがちです。実際に開催されている映像や背景を活かしたいという狙いもあり、映像エンジニアと模索した手法がこちらです。CGのリアルタイムレンダリングを60fpsで描画し、表示面を120Hzで動かすことで、1フレームごとに交互にCGフレームと黒フレームを表示しています、この「黒フレーム」の表示タイミングと撮影しているカメラのシャッタータイミングを厳密に同期させ、実写カメラには「舞台上の表示映像が映らない（常に黒フレームが移り続ける）」という状態をつくり、実写背景にマスクをかけることなくAR撮影を実現させているといいます。肉眼でのライブ鑑賞に違和感を覚えることなく楽しませることができ、タレント本人の実在性を向上させる演出のひとつとすることができたと報告しました。最後に平野さん、よしださん、泉さんの3人によるまとめの話に移りました。じつは3人は10年～15年近く仕事をともにしてきた仲であることを明かしつつ、ライブ演出にゲームやVTuberの技術が組み合わさり、新しいエンターテイメントが生まれている過程にあり、特にここ数年で技術が大きく進歩していると話しました。今後もチャレンジをつづけ、バーチャルとARの技術力を高めていくことを期待しています。